为了判断 RAG 系统的答案是幻觉还是有依据的，人类评判员可以评估三个关键标准：与源文档的一致性、与已知事实的一致性和主张的特异性。评判员应将系统的输出与检索到的数据和外部知识进行交叉比对，以识别无依据的主张。以下是实际操作的方法。
首先，评判员应验证答案是否与提供给 RAG 系统的源文档中的信息一致。例如，如果系统声称“X 公司成立于 1995 年”，但检索到的文档表明成立年份是 1990 年，这显然是幻觉。评判员可以标注答案中的每个事实性主张（例如日期、统计数据、事件），并检查它是否与来源直接匹配或从来源逻辑推断得出。如果没有检索到的内容支持，像“研究表明”这样含糊不清的说法而未引用具体来源也可能表明存在幻觉。使用文本高亮和源文档并排比较等工具可以简化这一过程。
其次，评判员应评估内部一致性和合理性。有依据的答案应避免矛盾，无论是答案本身内部还是与公认知识之间的矛盾。例如，如果 RAG 系统说“CEO 在同一年创立了两家公司”，除非来源明确证实，否则评判员会将其标记为可疑。同样，过于精确但无依据的主张（例如“收入增长了 27.3%”）如果源文档只提到“显著增长”，可能表明是虚构的。评判员可以使用外部数据库（例如维基百科、官方报告）来验证高风险主张，但这需要在效率和彻底性之间取得平衡。
最后，评判员应评估答案的逻辑结构。有依据的答案通常遵循从源材料中得出的连贯流程，而幻觉内容可能包含不相关的跑题或推理上的跳跃。例如，如果一个 RAG 答案从“Y 公司投资了太阳能”跳到“Y 公司将在 2025 年主导电动汽车市场”而没有任何中间证据，这可能表明是猜测。评判员可以使用评分标准来评估答案与检索到的上下文的句子关联程度。培训评判员识别常见的幻觉模式（例如错误地混合来自不同来源的事实）可以提高评估的可靠性。
