为了使用 nDCG（归一化折损累积增益）评估 RAG（检索增强生成）系统中的排名检索输出，您首先需要评估检索器对文档按相关性排序的效果，因为生成器的输出通常依赖于此顺序。nDCG 在这里非常理想，因为它通过考虑文档的相关性及其位置来量化排名的质量。例如，如果用于回答查询的关键文档出现在列表的较低位置，则生成器可能会忽略它，从而导致不正确或不完整的响应。通过应用 nDCG，您可以为最相关的文档出现在较早位置的排名分配更高的分数，从而反映它们对生成器输出的潜在影响。这与 RAG 对检索质量的依赖性直接相关，因为即使位置 5 的高度相关文档，如果生成器截断或降低后续条目的权重，其贡献也可能会减少。
在 RAG 中实施 nDCG 涉及三个步骤。首先，为检索到的文档相对于查询定义相关性等级（例如，0 表示不相关，2 表示高度相关）。其次，通过对相关性分数求和来计算折损累积增益 (DCG)，每个分数除以基于其位置的对数折扣。例如，位置 1 处相关性为 2 的文档贡献 2，而位置 3 处的同一文档贡献 2 / log₂(3+1) ≈ 1.0。最后，通过将 DCG 与理想排名 (IDCG) 进行比较来对其进行归一化，IDCG 是该查询的最大可能 DCG。例如，如果您的 RAG 系统检索到的文档按 [2, 1, 3] 排序（相关性分数分别为 3、2、1），但理想顺序是 [3, 2, 1]，则 nDCG 会惩罚最相关文档（分数 3）的次优位置。此过程突出显示检索器的排名是否与生成器生成准确输出所需的内容一致。
但是，存在一些实际考虑因素。nDCG 需要人工标注的相关性标签，这可能非常耗时。在 RAG 中，您可以使用合成标签（例如，查询和文档之间的相似性分数）作为代理，但这存在与真实相关性不一致的风险。此外，nDCG 侧重于检索质量，因此它应该补充而不是取代评估生成器的指标（例如，BLEU、ROUGE 或特定于任务的准确性）。例如，如果医疗 RAG 系统在位置 3 而不是位置 1 检索到一项关键研究，则 nDCG 会反映排名错误，而生成器未能使用该研究则需要单独评估。通过将 nDCG 与端到端指标相结合，开发人员可以隔离性能不佳是源于检索还是生成，从而实现有针对性的改进。