Haystack 通过模块化的流水线架构处理复杂的查询和多步骤推理，该架构将专门的组件链接在一起。流水线中的每个组件都负责一项特定任务——例如检索文档、过滤结果或生成答案——并将其输出传递到下一步。例如，需要分析多个文档的查询可能会首先使用检索器来获取相关文本，然后使用阅读器来提取关键细节，最后使用生成器来综合答案。这种关注点分离允许开发人员混合和匹配工具（例如，用于检索的 Elasticsearch、用于理解的基于 BERT 的模型）来处理细微的问题。流水线设计还支持条件逻辑，例如根据置信度分数或上下文将查询重新路由到不同的组件。
一个实际的例子涉及多跳推理，其中回答问题需要连接来自多个来源的信息。假设用户问：“X 公司在 2020 年的项目对环境有哪些影响？” Haystack 可能会首先使用关键字检索器来检索内部报告，然后使用密集检索器（例如向量数据库）来查找相关的科学研究，最后将这两组文档传递给语言模型以进行比较和总结。开发人员还可以实施查询分解：将复杂的查询（如“比较 2015 年后德国和法国的 GDP 增长”）分解为子查询（例如，“德国 GDP 2016-2023”、“法国 GDP 2016-2023”）并以编程方式合并结果。
定制是关键。 Haystack 允许开发人员在流水线步骤之间插入自定义逻辑，例如过滤低置信度的检索或添加上下文感知的重新排序。例如，集成检索器可以将关键字和语义搜索结果结合起来以提高覆盖率，而摘要步骤可能会在将冗长的文档提供给答案生成器之前对其进行浓缩。诸如代理之类的工具——可配置的模块，可以根据输入来决定执行哪些流水线步骤——可以处理动态工作流程，例如循环返回以收集更多数据（如果初始结果不足）。这种灵活性确保即使需要迭代推理的查询（例如，“解释 A 项目如何影响 B 政策，然后确定该政策的批评者”）也可以通过调整流水线的结构和组件来系统地解决。