Haystack 是 deepset 开发的一个开源框架，用于使用自然语言处理 (NLP) 构建搜索系统和问答应用程序。它提供模块化组件和管道来处理诸如文档检索、语义搜索和抽取式问答之类的任务。 Haystack 旨在处理大量文档集合，使开发人员能够构建可以有效地查找和提取相关信息的系统。它将常见的 NLP 工作流程抽象为可重用的部分，例如文档存储、检索器和阅读器，这些部分可以组合成可自定义的管道，而无需用户从头开始构建所有内容。
该框架通过基于管道的方法运行。首先，将文档摄取到文档存储中（例如，Elasticsearch、FAISS 或 Milvus），该存储对它们进行索引以进行快速检索。当发出查询时，检索器组件会扫描文档存储以查找最相关的文档。例如，像 BM25 这样的稀疏检索器使用关键字匹配，而像密集通道检索 (DPR) 这样的密集检索器使用神经嵌入来查找语义相似的文本。检索后，阅读器组件（通常是基于 transformer 的模型，如 BERT 或 RoBERTa）会处理检索到的文档以提取精确的答案。例如，在问答系统中，阅读器可能会解析有关气候变化的一段文字，通过识别提及温室气体的文本片段来回答“什么导致全球变暖？”这个问题。
Haystack 强调灵活性和可扩展性。开发人员可以交换组件以满足他们的需求——例如，使用不同的文档存储来实现可伸缩性，或者使用定制训练的阅读器模型来执行特定领域的任务。其中包括用于清理和拆分文档的预处理工具，并且 REST API 简化了部署。一个典型的用例是将研究论文索引到 Elasticsearch 中，使用 DPR 来检索相关部分，并使用微调的 BERT 模型来回答技术问题。通过模块化复杂的工作流程，Haystack 使开发人员能够专注于集成 NLP 功能，而无需重新发明基础设施，这使其适用于企业搜索、聊天机器人或知识管理系统等应用程序。