要使用 Haystack 构建自定义文档存储，首先需要定义数据管道并选择适合您用例的存储后端。 Haystack 支持多种文档存储，如 Elasticsearch、FAISS 和 Weaviate，每种存储都针对不同的场景进行了优化。例如，Elasticsearch 非常适合需要关键字搜索的文本密集型应用程序，而 FAISS 在基于向量的相似性搜索方面表现出色。首先安装 Haystack (pip install farm-haystack) 以及所选存储后端的任何依赖项。接下来，将文档（例如，PDF、文本文件）预处理为 Haystack 的 Document 格式，其中包括内容和元数据。如果使用原始文件，请使用 Haystack 的内置转换器（如 TextConverter 或 PDFToTextConverter）来自动执行此步骤。
典型的流程包括初始化文档存储、向其中写入文档以及将其连接到检索管道。 以下是使用 Elasticsearch 的简化示例
from haystack.document_stores import ElasticsearchDocumentStore
from haystack import Document
# Initialize the document store
document_store = ElasticsearchDocumentStore(host="localhost", index="my_docs")
# Create sample documents
documents = [Document(content="Haystack enables custom document storage.", meta={"source": "guide"}),
Document(content="Elasticsearch supports fast keyword search.", meta={"source": "docs"})]
# Write to the store
document_store.write_documents(documents)
在填充存储后，创建一个带有检索器（例如，Elasticsearch 的 BM25Retriever 或基于向量的存储的 EmbeddingRetriever）的管道。 此检索器将根据用户查询获取相关文档。例如，QA 系统可能会将其与阅读器模型（如 FARMReader）结合使用，以从检索到的文档中提取答案。
高级自定义涉及预处理、元数据管理和可扩展性。 使用 Haystack 的 PreProcessor 类将大型文档拆分为较小的块、清理文本或处理语言。 元数据（例如，日期、类别）可以改进过滤 - 例如，添加 meta={"department": "legal"} 允许您将搜索限制为特定部分。 对于大规模部署，请考虑使用 Elasticsearch + FAISS 等混合存储来组合关键字和向量搜索，或通过调整块大小或嵌入维度等参数来优化性能。 如果使用云存储，请确保文档存储配置与基础设施要求（例如，AWS OpenSearch）对齐。 最后，使用 Haystack 的评估工具监控性能，并根据真实世界的查询模式迭代您的管道。