评估多跳问答 (QA) 系统需要评估最终答案的正确性和用于整合来自多个来源的信息的推理过程的指标。传统的指标，如完全匹配 (EM) 或 F1 分数，侧重于与参考答案的表面文本重叠，是不够的，因为它们无法验证模型是否连接了跨文档的信息。相反，有效的评估应衡量**答案正确性**、**推理轨迹质量**以及**对无关或冲突信息的稳健性**。
首先，**答案正确性**必须考虑到最终答案是否在逻辑上组合了来自多个文档的事实。例如，如果问题问：“什么疾病是由维生素 C 缺乏和接触受污染的水引起的？” 正确答案（来自文档 A 的“坏血病”和来自文档 B 的“霍乱”）需要整合两个不同的事实。此处的指标可以包括对答案有效性的人工评估或分解为子问题（例如，分别验证每个跳跃）。自动方法可能会使用蕴涵模型来检查答案是否在逻辑上源于组合的证据。像 HotpotQA 这样的数据集包括“支持事实”注释，以验证中间推理步骤，可用于衡量每个跳跃的准确性。
其次，**推理轨迹质量**评估模型是否识别并连接了跨文档的相关信息。这可以通过跟踪模型的中间步骤（例如，检索的文档或生成的解释）来衡量。例如，一个系统可能首先检索一个关于维生素缺乏的文档，然后检索另一个关于水传播疾病的文档，然后明确地将它们链接起来以推断答案。此处的指标包括检索到的文档的精确率/召回率或生成的推理链的连贯性。像注意力可视化或链式思考提示这样的工具可以帮助开发人员检查模型的焦点是否与预期的连接对齐。添加不相关文档的对抗性测试也可以衡量对干扰的稳健性。
最后，**逻辑一致性**和**覆盖范围**确保模型避免矛盾并完全解决问题的所有部分。例如，如果模型回答“坏血病”但未提及“霍乱”，则部分正确但不完整。像 BLEURT 或 ROUGE-L 这样的指标可以评估答案质量，而结构化格式（例如，带有证据引用的 JSON 输出）可以实现对覆盖范围的自动检查。人工评估员可能会根据完整性和逻辑可靠性对答案进行评分（例如，0-2 分）。通过将自动检查与人工判断相结合，开发人员可以全面评估多跳 QA 系统是否真正合成了信息，而不是依赖于肤浅的模式。
