要衡量“支持证据覆盖率”——答案的每个部分在多大程度上以检索到的文档为基础——您需要一种系统的方法来将答案中的声明追溯到特定的文档片段。这涉及三个主要步骤：将答案分割成可验证的声明，将每个声明与文档内容对齐，以及量化覆盖率。例如，如果一个答案声明“阿波罗 11 号任务于 1969 年登陆月球”，您将检查检索到的文档是否明确提及 1969 年、任务名称和登月。诸如语义相似性模型（例如，SBERT）或精确关键字匹配之类的工具可以帮助自动化此对齐。覆盖率得分通常是在文档中具有直接支持的答案声明的百分比。
一个实际的实现可能涉及将答案拆分为单独的陈述或事实，并使用检索增强管道将每个陈述映射到文档段落。 例如，在关于气候变化的问答系统中，如果答案包括“自工业时代以来，二氧化碳水平上升了 50%”，则系统将搜索诸如“二氧化碳增加”、“工业革命”以及支持 50% 主张的数字数据之类的短语。 当答案释义文档内容时（例如，“全球气温飙升”与“地球表面温度急剧上升”）会出现歧义。 在这里，基于嵌入的相似性得分（例如，句子向量之间的余弦相似度）可以识别间接匹配，而阈值（例如，0.8 相似度）确定有效的支持。 部分匹配或不受支持的声明会降低总体覆盖率得分。
开发人员可以使用 spaCy 等开源工具进行句子分割，使用 Hugging Face 的 sentence-transformers 进行语义比较，并使用自定义脚本来计算覆盖率指标。 例如，Python 脚本可能会迭代每个答案段，计算其与所有文档段落的相似度，并标记没有高于预定义阈值的匹配项的段。 记录这些结果有助于审核系统可靠性——例如，85% 的覆盖率得分意味着 15% 的答案缺乏明确的支持。 此过程不仅验证答案，而且还识别文档检索中的差距（例如，缺少关键来源）或过度自信的语言模型。 通过迭代这些指标，开发人员可以提高检索质量和答案基础。
