确保 LLM 依赖于检索到的信息的挑战 主要挑战在于大型语言模型 (LLM) 在海量数据集上进行训练，这使得它们的参数知识根深蒂固。 当检索外部信息（例如，通过数据库或网络搜索）时，模型必须优先考虑此上下文而不是其内部“记忆”。 但是，LLM 通常会根据训练期间学到的模式生成答案，尤其是在检索到的数据不完整、模棱两可或与其现有知识冲突时。 例如，如果 LLM 被问及不在其训练数据中的最近发生的事件，并提供了检索到的新闻文章，但如果该文章结构不良或缺少关键细节，它可能仍然会生成过时或通用的响应。
另一个问题是模型的架构。 大多数 LLM 将检索到的信息作为附加到输入提示的纯文本进行处理，这并没有固有地区分外部数据和内部知识。 如果没有明确的机制来更重视检索到的内容，模型可能会将其视为次要内容。 例如，在检索增强生成 (RAG) 系统中，如果模型没有经过微调以优先考虑检索到的上下文，它可能会完全忽略它。 当查询需要精确的、最新的信息（如医疗指南）时，这尤其成问题，因为依赖参数知识可能会导致不正确或不安全的输出。
最后，用户提示的歧义加剧了这个问题。 如果查询含糊不清，模型可能会默认使用其参数知识来填补空白。 例如，问“如何修复 Python 函数？”而没有指定该函数的作用可能会导致模型从其训练数据中生成通用解决方案，而不是使用针对用户代码片段量身定制的检索到的文档。 确保模型了解何时以及如何参考外部数据需要仔细的提示工程、微调或架构调整。
评估模型是否“作弊” 为了评估 LLM 是否依赖于记忆的信息而不是检索到的数据，开发人员可以使用对照实验。 一种方法是故意在检索上下文中提供不正确或修改过的信息，并观察模型是否重复它。 例如，如果检索到的文档声明“法国的首都是里昂”，但模型回答“巴黎”（其参数知识），则它会忽略上下文。 相反，如果它鹦鹉学舌般地说“里昂”，则它正在使用检索到的数据。 这种“对抗性检索”测试有助于识别对任一来源的过度依赖。
另一种方法是探测模型的置信度。 当 LLM 使用参数知识时，即使检索到的上下文与其相矛盾，它也可能会以很高的确定性生成答案。 令牌概率分数或蒙特卡洛 dropout 等工具可以量化这种置信度。 例如，如果模型对其训练数据中的事实的输出概率在存在冲突的检索信息的情况下仍然很高，则表明它在记忆。 开发人员还可以分析基于 transformer 的模型中的注意力权重，以查看特定检索到的段落是否影响了输出。
最后，特定领域的基准可以隔离模型的行为。 例如，在法律问答系统中，开发人员可以在其训练数据中没有但包含在检索语料库中的最近发生的法院案件上测试模型。 如果模型未能准确引用检索到的案件，则它很可能依赖于过时的参数知识。 精度（与检索到的事实对齐）和召回率（关键上下文的覆盖率）等指标可以正式化此评估。 结合起来，这些方法可以帮助开发人员诊断和减轻对记忆信息的非预期依赖。
改进的实用步骤 为了应对这些挑战，开发人员可以实施技术保障措施。 在正确答案明确取决于提供的上下文的数据集上微调 LLM 可以教会模型优先考虑检索到的信息。 例如，使用“使用随附的文档，解释 X”之类的提示进行训练，并结合与一般知识相矛盾的文档，可以加强对上下文的依赖。 架构更改（例如，将检索到的数据的处理与模型的默认路径分开）也可以提供帮助。 谷歌的 REALM 和类似的系统使用专用机制来评分和整合检索到的段落，然后再生成答案。
提示工程是另一种低成本的修复方法。 明确指示模型“仅根据以下文本给出您的答案”或构建输入以突出显示检索到的内容（例如，使用标记）可以减少参数偏差。 LangChain 的上下文感知链等工具通过构建提示来强调外部数据，从而将此过程正式化。 此外，混合系统可以针对检索到的上下文交叉检查生成的答案，以确保一致性（标记不匹配以供人工审核），从而可以实时捕获错误。
最终，持续评估至关重要。 定期使用更新的检索语料库测试模型并测量上下文坚持率（直接受检索到的数据支持的输出的百分比）等指标可确保持续的性能。 例如，应每月使用新的医疗指南测试医疗保健聊天机器人，以验证它不会默认使用过时的治疗方法。 通过结合技术调整、清晰的提示和严格的测试，开发人员可以使 LLM 更紧密地与检索到的信息保持一致，并减少对记忆知识的意外依赖。
