要使用 Haystack 进行知识库检索，首先需要设置一个文档存储，处理数据并配置检索管道。 Haystack 是一个开源框架，专为构建可以查询大型文档集合的搜索系统而设计。它支持多个文档存储（如 Elasticsearch、FAISS 或 SQL），并与 transformer 模型集成以进行语义搜索。 核心步骤包括摄取文档、对其进行索引以实现高效检索，以及使用基于关键字或神经搜索方法对其进行查询。
首先，通过将文档转换为 Haystack 的 Document 格式来准备数据。 例如，如果您的知识库包含 PDF 或文本文件，请使用 Haystack 的文件转换器（例如，PDFToTextConverter）来提取文本。 接下来，使用 PreProcessor 将文本拆分为更小的块来预处理文本，以避免超出模型令牌限制。 将这些经过处理的文档存储在文档存储中，例如 Elasticsearch，它可以处理关键字搜索，或 FAISS，用于基于密集向量的检索。 对于语义搜索，使用诸如 EmbeddingRetriever 之类的检索器和诸如 sentence-transformers/all-MiniLM-L6-v2 之类的模型来嵌入文档。 此步骤将文本转换为向量，从而在查询期间实现相似性比较。
要查询知识库，请构建一个管道，该管道结合了检索器和可选的阅读器组件。 例如，具有 BM25Retriever（基于关键字）或 DensePassageRetriever（神经）的 Pipeline 会提取相关文档，然后可以将其传递给 TransformersReader（如 BERT）以提取精确的答案。 例如，管道可能使用 BM25 检索前 5 个文档，然后扫描它们以查找答案。 开发人员可以调整诸如 top_k 之类的参数，以平衡速度和准确性。 Haystack 还支持混合方法，例如结合关键字和语义检索器以提高结果质量。 使用示例查询测试管道，并根据性能迭代预处理或模型选择。
高级用例包括自定义预处理规则（例如，调整块大小）、按元数据（例如，日期或类别）过滤结果或通过 REST API 部署系统。 Haystack 的模块化设计允许交换组件——例如，从 Elasticsearch 切换到 Weaviate 作为文档存储，而无需重写整个管道。 为了实现可扩展性，请考虑分布式设置或近似最近邻索引。 始终使用 Haystack 的评估工具验证系统的准确性，该工具可衡量召回率或答案重叠率等指标。 该框架的文档和社区示例提供了可用于适应特定知识库的实用模板。