视觉Transformer (ViTs) 在视觉-语言模型 (VLMs) 中发挥着关键作用，它们将视觉数据处理成可以与文本有效结合的表示。与传统的卷积神经网络 (CNNs) 不同，ViTs 将图像视为一系列图像块，并使用 Transformer 架构将它们编码为嵌入。这种方法使得 VLMs 能够以统一的方式处理图像和文本，对两种模态使用相同的基于 Transformer 的机制。例如，图像被分割成固定大小的图像块，通过线性投影转换为嵌入，然后通过自注意力层进行处理以捕捉全局关系。这种方法使模型能够理解图像中的空间和上下文细节，然后将其与文本信息对齐。
在 VLMs 中，ViTs 与文本 Transformer 协同工作，以创建视觉和文本数据的联合表示。来自 ViT 的图像嵌入与文本嵌入（通常由 BERT 等模型生成）通过跨模态注意力或融合层相结合。例如，在 CLIP 等模型中，ViT 将图像编码为特征向量，而文本 Transformer 则编码文本描述。在训练过程中，对比学习对齐这些嵌入，使得配对的图像和文本具有相似的表示。另一个例子是 Flamingo，其中经过 ViT 处理的图像特征被馈送到文本解码器中的跨注意力层，使模型能够根据视觉输入生成文本。这种集成使 VLMs 能够利用模态之间的交互执行图像-文本检索或视觉问答等任务。
ViTs 在 VLMs 中比 CNNs 具有优势，因为它们能够建模长距离依赖关系并高效扩展。ViTs 中的自注意力捕捉图像中远距离区域之间的关系，这对于需要整体理解的任务非常有用，例如描述复杂场景。此外，通过增加模型大小或训练数据来扩展 ViTs 通常可以提高性能，正如在 ALIGN 等大型 VLMs 中所见。然而，ViTs 可能计算密集，尤其是在处理高分辨率图像时。尽管如此，它们在处理可变大小输入（通过图像块分割）方面的灵活性以及与基于 Transformer 的文本模型的兼容性，使得它们成为构建多模态系统的开发人员的实用选择。例如，在 VLM 流水线中微调预训练的 ViT 可以使模型适应特定任务，如结合文本报告的医学图像分析，展示了它们的多功能性。