在多模态 RAG（检索增强生成）系统中防止幻觉需要结合强大的数据处理、模型约束和验证机制。当系统生成的信息没有基于检索到的数据或输入上下文时，通常由于检索中的差距、生成器的过度自信或模态之间的不匹配而发生幻觉。为了缓解这个问题，请专注于提高检索准确性、对齐多模态数据以及在生成过程中强制执行严格的上下文遵循。每个组件——检索器、生成器和模态集成——都需要有针对性的策略来减少错误。
首先，增强检索器获取跨模态的相关高质量数据的能力。例如，使用跨模态嵌入模型（如 CLIP）将文本和图像链接到共享向量空间中，确保检索到的内容与查询的意图对齐。如果用户问“描述这张图片的绘画风格”，检索器应优先考虑与艺术相关的文档或与类似视觉效果相关的元数据。在特定领域的数据上微调检索器（例如，带有报告的医学图像）也可以减少不相关的结果。此外，实施重新排序以过滤掉低置信度的匹配项。例如，在检索到 100 个图像-文本对后，基于 BERT 的重新排序器可以对它们与查询的相关性进行评分，丢弃不匹配项，例如森林图像的“日落”标题。
接下来，约束生成器使其保持基于检索到的内容。使用诸如受控解码之类的技术，其中模型的输出被强制引用检索到的数据的特定部分。对于多模态系统，交叉检查模态之间的一致性。如果为图像生成标题，请验证提及的对象（例如，“一只狗”）是否实际出现在图像中，通过对象检测 API。另一种方法是在数据集上微调生成器，其中输出必须与源材料严格对齐。例如，训练医学 QA 对，其中答案直接从检索到的期刊中提取，惩罚模型添加不受支持的细节。像 DALL-E 的“内容过滤”之类的工具也可以阻止与输入提示或检索到的数据不符的生成。
最后，实施验证循环和反馈机制。使用自动检查，例如使用 BERTScore 等指标将生成的文本与检索到的文档进行比较，或使用像 BLIP-2 这样的视觉语言模型验证图像输出与源数据是否一致。对于关键应用程序，引入人工审核——例如，放射科医生根据扫描和报告验证 AI 生成的诊断。通过记录错误不断更新系统：如果用户将生成的标题标记为不正确（例如，“汽车是蓝色的”而实际上是红色的），则在此反馈上重新训练检索器或生成器。多模态系统受益于迭代测试，例如使用边缘案例（例如，具有冲突文本描述的模糊图像）进行压力测试，以识别和修补检索或生成管道中的弱点。