Transformer 在多模态 AI 中扮演着核心角色，它使模型能够处理和关联来自不同数据类型的信息，例如文本、图像和音频。 它们的核心机制——自注意力机制，允许它们衡量输入数据不同部分的重要性，而与其模态无关。这种灵活性使 Transformer 非常适合需要组合或比较来自多个来源的数据的任务。例如，多模态模型可能会同时分析照片和文本标题，以生成有意义的描述或回答有关图像内容的问题。
Transformer 在多模态设置中的一个关键优势在于它们能够将不同的数据统一到共享的表示空间中。每种模态（如文本或图像）首先使用特定于模态的编码器转换为嵌入（数值向量）。例如，视觉 Transformer (ViT) 通过将图像分割成补丁并编码每个补丁来处理图像，而文本 Transformer 则对单词进行标记和嵌入。 然后将这些嵌入输入到共享的 Transformer 架构中，其中自注意力层识别跨模态的关系。 像 CLIP（对比语言-图像预训练）这样的模型使用这种方法来对齐文本和图像嵌入，从而通过将文本提示与视觉特征进行比较来实现零样本图像分类等任务。
另一个优点是 Transformer 的可扩展性和对不同融合策略的适应性。 早期融合直接组合原始输入（例如，像素补丁和文本标记），让模型从一开始就学习跨模态交互。后期融合在合并输出之前分别处理每种模态，这对于需要独立分析的任务很有用。 Transformer 还支持交叉注意力机制，其中一种模态（例如，文本查询）关注另一种模态（例如，图像区域），如 Flamingo 等视觉问题解答模型中所见。 这种适应性，加上对大型数据集的有效训练，使 Transformer 能够处理复杂的多模态任务，例如生成图像标题或根据音频和文本提示检索相关视频，同时保持跨输入的连贯推理。
