当用于评估检索增强生成（RAG）系统时，ROUGE和METEOR存在显著局限性，尤其是在基于检索到的信息可能存在多种正确答案的场景下。这两种指标都依赖于将生成的文本与预定义的参考答案进行比较，这未能考虑到基于检索数据的不同解释或呈现方式可能产生的有效回答的多样性。例如，一个RAG系统回答“运动对健康的益处是什么？”时，可以通过强调心血管改善、心理健康益处或免疫系统支持来生成不同但同样正确的答案。ROUGE和METEOR会惩罚这些变体，除非它们与参考答案的具体措辞非常接近，尽管所有回答在事实上都是有效的。
核心问题在于，这些指标优先考虑词汇重叠而非语义正确性。ROUGE衡量生成文本与参考文本之间的n-gram匹配，而METEOR则增加了同义词匹配和句法分析。然而，它们都无法直接评估答案是否准确反映了检索内容或有效回应了查询。例如，如果参考答案是“运动通过改善血液循环降低心血管疾病风险”，而RAG系统的输出是“体力活动能增强血流，降低心脏病发生的可能性”，尽管语义同样准确，ROUGE得分可能会因为词汇重叠有限而较低。METEOR通过同义词识别（例如，“exercise” vs. “physical activity”）可能会略微提高得分，但对于同一概念的转述或重新排序的解释仍然难以处理。
此外，ROUGE和METEOR无法评估答案对检索到的源材料的忠实度。一个RAG系统可能生成一个与参考答案措辞恰好匹配但事实上不正确的内容，从而获得高分，尽管其与来源信息不符。相反，一个源自检索文档但表述不同的正确答案可能会得分很低。例如，如果参考答案引用“一项2021年将咖啡因与降低阿尔茨海默病风险关联起来的研究”，而RAG系统正确引用“一篇2020年显示咖啡消费延迟痴呆症发作的论文”，这些指标会因为日期和术语的不同而忽略语义上的对齐。这使得它们在评估RAG系统是否正确地基于提供的证据进行回答方面变得不可靠，而这对于可信的输出至关重要。
开发者应使用特定任务的评估来补充这些指标。例如，利用人工判断来评估答案质量，实施与源文档的事实一致性检查，或者设计衡量检索内容中关键信息点覆盖度的测试。虽然ROUGE和METEOR提供了快速的自动化反馈，但它们无法处理答案多样性和语义保真度的能力限制了它们在鲁棒的RAG评估中的效用。
