多模态检索增强生成 (RAG) 是传统 RAG 系统的扩展，它集成了多种类型的数据（例如文本、图像、音频或视频），以提高生成输出的质量和相关性。 与主要依赖于基于文本的检索和生成的标准 RAG 不同，多模态 RAG 处理并组合来自不同模态的信息，以回答查询或创建内容。 这种方法允许系统处理复杂的问题，这些问题需要理解不同数据类型之间的关系，例如使用上下文文本描述图像或回答引用音频和视觉输入的问题。
多模态 RAG 系统通常分三个阶段工作：检索、融合和生成。 首先，在检索期间，系统使用嵌入（数据的数字表示）搜索包含多种数据类型的数据库。 例如，可以使用 CLIP 等视觉模型将图像转换为向量，而文本则通过 BERT 等语言模型进行嵌入。 这些嵌入允许系统跨模态查找相关信息——例如，检索狗的图像以及有关犬品种的维基百科条目。 接下来，检索到的数据被融合为生成器可以处理的统一格式。 这可能涉及使用跨模态注意力机制将图像特征与文本描述对齐，或将音频记录与视频中的时间戳组合起来。 最后，融合的数据被输入到多模态生成器（例如，具有视觉功能的 GPT-4）以产生连贯的响应，例如生成一个段落，解释研究论文中的图表。
对于开发人员来说，实现多模态 RAG 涉及多模态嵌入模型、向量数据库（例如 FAISS 或 Milvus）以及支持混合输入的生成器等工具。 一个实际的例子是客户支持聊天机器人，它检索产品图像和手册来回答故障排除问题。 当用户问“为什么我的搅拌机发出研磨声？”时，系统可以检索产品的说明视频（带有音频）、刀片组件的图表和故障排除指南。 然后，生成器综合这些输入以建议检查刀片是否松动。 挑战包括有效地跨模态对齐数据和管理计算成本，但像 LangChain 的多模态扩展之类的框架简化了集成。 通过组合不同的数据类型，与仅文本系统相比，多模态 RAG 可以实现更丰富、更具上下文感知能力的应用。