Haystack 通过结合初始候选文档检索和神经重排的两个步骤来处理文档检索中的相关性排序。首先，它使用 BM25 或密集向量搜索等快速检索方法来获取广泛的候选文档集合。这些方法优先考虑速度和召回率，确保相关文档位于初始池中。例如，BM25 计算词频和逆文档频率以匹配关键词，而像 DPR 这样的密集检索器则将文本编码为向量，用于语义相似度比较。第一步将数千份文档缩小到可管理的子集（例如 100-200 个候选），以便进行更深入的分析。
在第二阶段，Haystack 应用神经排序器根据相关性对候选文档进行重新排序。通常在此使用基于 Transformer 的模型，如 BERT 或 RoBERTa，它们以更细的粒度分析查询-文档对。这些模型处理文档和查询的全文，捕获基于关键词的方法遗漏的上下文关系。例如，交叉编码器模型可能会通过评估语义对齐度而不是仅凭关键词重叠来判断文档中的段落回答“气候变化的原因是什么？”的程度。这一步计算密集，但对于准确性至关重要，因为它能解决歧义（例如，区分“爪哇岛”和“Java 编程语言”）。
开发者可以在 Haystack 中自定义此管道，选择适合其用例的检索器、排序器和阈值。该框架支持混合方法，例如在重新排序之前结合 BM25 和密集检索结果。通过设置诸如要重新排序的顶部候选文档数量（例如 100 vs 500）等参数，可以在速度和准确性之间进行权衡。例如，法律搜索系统可能会通过使用带有较大候选池的密集检索器来优先考虑召回率，而聊天应用则可能通过仅对 50 份文档进行重新排序来优化延迟。Haystack 的模块化设计允许团队实验各种组件（例如用 MiniLM-L6 替换更大的模型），而无需重建整个系统。