RAG 评估中的回答相关性 检索增强生成 (RAG) 中的回答相关性是指生成的回答在以检索到的信息为基础的同时，能够多大程度地有效回应用户的查询。一个相关的回答必须直接回答问题，避免不必要的跑题，并准确使用检索到的文档提供的论据或上下文。例如，如果用户问：“Python 的全局解释器锁 (GIL) 如何影响多线程？” 一个相关的回答会解释 GIL 在线程同步中的作用，引用它对 CPU 密集型任务的影响，并引用检索过程中使用的技术文档或文章。不相关的回答可能会讨论不相关的 Python 特性，或者未能将 GIL 与线程限制联系起来。
衡量相关性：指标与方法 相关性可以通过自动化指标和人工评估来衡量。一种常见的方法是使用自然语言推理 (NLI) 模型来检查生成的回答是否逻辑上蕴含（支持）检索到的上下文，并与不相关的说法相矛盾。例如，如果检索到的文档表明“GIL 会降低多线程性能”，那么一个 NLI 模型就会标记声称“GIL 提高了多线程性能”的回答。基于重叠度的指标，如 BLEU 或 ROUGE，会将回答的内容与参考标准进行比较，但它们可能会忽略上下文的一致性。或者，开发者可以通过检查检索到的文档中的关键术语（例如，“线程安全”、“CPU 密集型”）是否出现在回答中来计算上下文利用率得分。人工评估仍然至关重要，评估人员会根据“主题重点”和“来源使用”等标准使用李克特量表对回答进行评分。
实际实现 为了实现相关性检查，开发者可以将评估流程集成到 RAG 系统中。例如，一个使用 Hugging Face 的 transformers 库的 Python 脚本可以使用 NLI 模型来评估回答与检索到的上下文的相关性得分。RAGAS (RAG Assessment) 或 LlamaIndex 的评估模块等工具可以通过结合语义相似度和基于关键词的检查来自动化相关性评分。一个实际的工作流程可能包括
- 检索与查询相关的文档。
- 使用大型语言模型 (LLM) 生成回答。
- 使用 NLI 验证回答是否与检索到的上下文一致。
- 标记蕴含得分低的回答进行审查。通过将自动化指标与抽查相结合，团队可以迭代改进 RAG 系统，同时保持对主题一致性和事实准确性的关注。
