要评估检索器是否返回了与生成器的性能无关的相关信息，你需要关注将检索器的输出与下游处理隔离的指标和方法。 首先，针对带标签的数据集测量检索器的精确率和召回率。 例如，如果查询是“如何在 Python 中对列表进行排序”，请手动验证返回的顶部文档是否解释了列表排序方法（例如，sorted() 与 list.sort()）。 使用诸如 precision@k（前 k 个结果中有多少是相关的）和 recall@k（前 k 个结果中检索到了多少相关项）之类的指标。 这些指标不需要生成器，并且直接反映了检索器呈现正确信息的能力。
另一种方法是创建一个包含预定义查询和已知相关文档的测试集。 例如，如果查询询问“SQL JOIN 类型”，则理想的检索文档应包括 INNER JOIN、LEFT JOIN 等的解释。 通过将检索器的输出与此基本事实进行比较，你可以计算准确性而无需涉及生成器。 像平均倒数排名 (MRR) 这样的工具也可以帮助量化第一个相关文档在结果中出现的高度。 这种方法确保评估是确定性的，并且不受生成器的解释或潜在错误的影响。
最后，通过检查生成器产生错误或无意义答案的情况来进行错误分析。 例如，如果生成器错误地回答了关于“Python 装饰器”的查询，请检查检索器是否提供了关于装饰器的文档，或者诸如变量作用域等不相关的主题。 如果检索器未能获取相关内容，则问题就在那里。 此外，通过交换检索器（例如，比较 BM25 与密集检索器）同时保持生成器固定来运行 A/B 测试。 如果性能发生显着变化，则突显了检索器的影响。 这种分层评估隔离了检索器的作用，并确保改进得到正确的目标。