上下文精确率和上下文召回率是用于评估检索增强生成(RAG)系统检索和使用相关信息的有效性的指标。 上下文精确率 衡量系统针对特定查询优先处理最有用的文档的效果。 例如,如果用户询问“COVID-19 的症状是什么?”,系统在顶部结果中检索到三个高度相关的医疗指南,然后是相关性较低的文章,则其精确率分数会反映此排名质量。 高精确率确保生成器首先关注最佳信息,从而减少输出中的噪音。 但是,低精确率意味着系统会提前浮出无关或冗余的文档,这可能会导致生成器产生不太准确的答案。
另一方面,上下文召回率 评估系统是否检索到解决查询所需的所有*相关*信息。 例如,如果关于“糖尿病的治疗方案”的查询需要有关药物、饮食和运动的详细信息,则高召回率意味着系统会提取涵盖所有三个方面的文档。 低召回率表明存在差距 - 例如,缺少与饮食相关的信息 - 这可能导致生成器产生不完整的答案。 对于复杂的查询,召回率至关重要,因为即使遗漏一个关键细节也可能破坏响应。 总而言之,精确率和召回率平衡了系统优先处理*和*覆盖必要内容的能力。
这些指标表明了不同的性能特征。 高上下文精确率表明检索组件可以有效地按相关性对文档进行排名,这对于处理所有检索数据的实时系统至关重要。 高上下文召回率表示彻底性,这对于需要详尽答案的查询很重要。 但是,通常会存在权衡:优化精确率(例如,检索较少的文档)可能会牺牲召回率,反之亦然。 开发人员可以使用这些指标来根据用例优先级调整检索参数,例如提取的文档数量或排名算法。 例如,医疗聊天机器人可能会优先考虑召回率,以避免遗漏关键信息,而客户支持工具可能会倾向于精确率,以实现更快、更专注的响应。