要使用 Haystack 进行自然语言文档搜索，您首先需要搭建一个 Pipeline，它连接 文档存储、检索器，以及可选的 阅读器。Haystack 旨在处理大规模文档集合，并允许您使用基于 Transformer 的模型进行语义搜索。核心工作流程包括将文档存储在针对搜索优化的数据库中，使用检索器查找相关段落，并在需要时应用阅读器（例如问答模型）来提取精确答案。这种方法结合了传统的基于关键词的搜索和现代神经网络方法，以获得准确结果。
首先，准备您的文档并将其加载到 Haystack DocumentStore 中，例如 Elasticsearch、FAISS 或 InMemory。例如，您可以使用 Haystack 的预处理工具将 PDF 或文本文件集合分割成更小的块。接下来，选择一个检索器模型——选项包括 BM25（基于关键词）或像 EmbeddingRetriever 这样的密集检索器（使用 sentence transformers）。如果您需要直接从文本中提取答案，请添加一个 Reader 组件（例如 RoBERTa 问答模型）。一个基本的 Pipeline 代码示例如下
from haystack import Pipeline
from haystack.document_stores import InMemoryDocumentStore
from haystack.nodes import EmbeddingRetriever, FARMReader
document_store = InMemoryDocumentStore()
# Load documents into the store (e.g., using a TextIndexingPipeline)
retriever = EmbeddingRetriever(document_store, model_format="sentence_transformers", embedding_model="all-MiniLM-L6-v2")
reader = FARMReader(model_name_or_path="deepset/roberta-base-squad2")
pipeline = Pipeline()
pipeline.add_node(component=retriever, name="Retriever", inputs=["Query"])
pipeline.add_node(component=reader, name="Reader", inputs=["Retriever"])
这个 Pipeline 使用语义相似性检索文档并从中提取答案。
最后，通过将自然语言问题传递给 Pipeline 来运行查询。例如
results = pipeline.run(query="What is climate change?", params={"Retriever": {"top_k": 5}, "Reader": {"top_k": 3}})
调整 top_k 等参数以平衡速度和准确性。如果您不需要提取答案，可以跳过阅读器，仅使用检索器。为了获得更好的性能，可以对文本进行预处理（去除噪音、分割长文档）并尝试不同的模型——检索可以试试 multi-qa-mpnet-base-dot-v1，阅读器可以试试像 BERT-large 这样更大的模型。Haystack 的灵活性允许与自定义模型和数据库集成，使其能够适应特定用例。