为了衡量 RAG 系统中检索组件的准确性，开发者通常使用 precision@K 和 recall@K 来评估系统检索相关文档的效果。Precision@K 衡量的是前 K 个检索到的文档中实际相关的比例，而 recall@K 衡量的是在这些 K 个结果中捕获到的总相关文档数量。例如，如果在语料库中一个查询有 10 个相关的文档，检索器返回了 5 个文档（K=5），其中 3 个是相关的，那么 precision@5 是 3/5 (60%)，recall@5 是 3/10 (30%)。这些指标直接量化了检索高质量结果（precision）和覆盖所有可能的相关的项（recall）之间的权衡。
为了实现这些指标，你需要一个带有标签的数据集，其中每个查询都与一组已知相关的文档配对。对于每个查询，运行检索器以获取前 K 个文档，并将它们与真实结果进行比较。例如，在代码搜索场景中，如果用户查询“Python CSV parsing”，并且正确答案包括 csv 模块文档和关于 pandas.read_csv 的 Stack Overflow 片段，precision@3 将检查这两个是否出现在前 3 个结果中。如果只检索到 csv 模块，则 precision@3 为 1/3 (约 33%)，recall@3 为 1/2 (50%)。像 Python 的 rank_eval 库或自定义脚本这样的工具可以在测试数据集上自动完成这些计算。
然而，precision@K 和 recall@K 也有局限性。它们假设一个静态截止值（K），并且不考虑超出该点的排名顺序。例如，如果在 K=3 的设置中，最相关的文档排在第 4 位，即使它仅在截止值之外，也被视为不相关。为了解决这个问题，开发者通常将这些指标与其他指标结合使用，例如**平均倒数排名 (MRR)** 或**平均平均精度 (MAP)**，这些指标会考虑相关结果的位置权重。此外，实际系统可能会优先考虑某个指标：客户支持聊天机器人可能偏好高召回率以避免遗漏关键答案，而搜索引擎可能优先考虑精度以确保顶部结果可靠。使用不同的 K 值（例如，K=5、10）进行测试并分析精度-召回率曲线有助于平衡这些目标。