在检索增强生成 (RAG) 中,“幻觉”是指模型生成的信息未基于检索到的数据或事实来源。与简单的错误或遗漏不同,“幻觉”涉及模型编造检索文本中不存在的细节、事实或结论。例如,如果一个 RAG 系统被问到:“X 公司何时发布了 Y 产品?”,而检索到的文档只提到了 Y 产品的功能,但没有提到发布日期,如果模型回答说:“Y 产品于 2022 年 6 月发布”,尽管来源中没有任何日期,那么就可能发生“幻觉”。该模型不仅仅是错误的,它还在没有证据的情况下创建了一个听起来合理的答案。
另一方面,错误和遗漏源于处理现有数据时的不准确或缺失。错误可能涉及错误地解释检索到的日期(例如,从来源中说“2023 年”而不是正确的“2022 年”)。当模型未能包含成功检索到的相关信息时,就会发生遗漏,例如跳过文档中提到的 Y 产品的关键功能。这些错误与模型解析或确定信息优先级的能力有关,而不是编造信息。例如,如果模型回答说“Y 产品具有 10 小时的电池续航时间”,但来源说“10 天的电池续航时间”,这是一个错误。如果它完全忽略了电池续航时间,那就是一个遗漏。
关键区别在于错误的来源。“幻觉”是捏造的,而错误和遗漏与错误处理有效数据有关。“幻觉”在 RAG 中尤其成问题,因为该系统旨在依赖外部知识,而提出无根据的主张会破坏其目的。检测“幻觉”通常需要将生成的答案与检索到的内容进行交叉检查。例如,如果 RAG 答案引用了检索到的文档中没有的研究,那就是一个明显的“幻觉”。开发人员可以通过提高检索质量、添加事实检查层或微调模型以避免过度自信来减轻这种情况。与此同时,可以通过更好的数据预处理、模型训练或检索优先级来解决错误和遗漏。理解这些差异有助于诊断和修复 RAG 系统中的特定问题。