检索增强生成 (RAG) 系统中多模态信息的最佳上下文格式涉及将不同数据类型（文本、图像、音频等）结构化为统一表示，该表示既能保留模态之间的关系，又能适应模型的处理能力。这需要将每种模态转换为嵌入向量——捕获语义意义的数值向量——并用元数据组织它们以维持上下文。例如，文本可以被分词，图像通过 CLIP 等视觉模型处理，音频转换为声谱图。然后，这些嵌入向量连同元数据（例如，时间戳、模态类型、源标识符）一起存储在向量数据库中，以便在生成过程中实现跨模态检索和连贯的合成。
一种实际的实现方法可能涉及将相关的多模态数据分块成配对单元。例如，包含 X 射线图像和文本诊断的医疗报告可以被分割成块，其中图像嵌入（来自视觉 Transformer）与文本嵌入（来自语言模型）一起存储，通过元数据指示它们的关联。为了避免模型上下文窗口过载，每个块应平衡模态大小——例如，将一段文本与单个图像或 10 秒音频片段配对。文本中的清晰标记（例如，[IMAGE] 或 [AUDIO] 标签）有助于模型在处理过程中区分模态。FAISS 或 Pinecone 等工具可以有效地索引这些嵌入向量，从而实现“查找肺部出现不透明区域的病例”等查询，以检索放射科笔记和相关图像。
多模态 RAG 的连贯性取决于检索过程中嵌入向量的对齐和上下文的保留。CLIP 等跨模态编码器在文本和图像上联合训练，确保来自不同模态的嵌入向量占据共享的语义空间。当用户查询“展示阳光明媚的海滩”时，系统通过比较查询的嵌入向量与所有索引向量来检索与“阳光明媚的海滩”相关的文本描述和图像嵌入向量。在生成过程中，模型使用注意力机制结合检索到的块，根据相关性加权模态。例如，旅游博客生成器可能会优先使用文本获取事实细节，但会参考图像嵌入向量来描述风景。细致的分块、元数据设计和嵌入向量对齐确保模型能够逻辑地处理多模态上下文，避免出现描述猫的图像时文本却讨论狗等不匹配情况。