变压器在视觉-语言模型（VLM）中通过实现视觉和文本数据的联合处理，扮演着核心角色。与分别处理图像和文本的传统方法不同，变压器使用自注意力机制来捕获两种模态中元素之间的关系。例如，在处理图像时，变压器可能会将其分割成块（patches），并将每个块视为一个token，类似于文本被分解成单词的方式。这种统一的基于token的方法使模型能够学习视觉特征（如图像中的对象）如何与单词或短语（如图片说明）相关联。CLIP或Flamingo等模型利用这种架构在共享嵌入空间中对齐图像和文本，从而实现零样本图像分类或跨模态检索等任务。
变压器在VLM中的关键优势在于它们能够建模跨模态的长距离依赖和上下文交互。跨模态注意力层允许模型在处理文本时动态地关注图像中的相关部分，反之亦然。例如，在视觉问答（VQA）任务中，当分析“狗手里拿着什么？”这样的问题时，模型可能会关注图像的特定区域（例如，狗的牵引绳）。用于图像的ViT（Vision Transformer）和用于文本的BERT等架构通常会结合使用，并带有共享或相互连接的注意力层。训练通常涉及对比学习（例如，匹配图像-文本对）或掩码token预测等目标，这些目标教会模型理解视觉和文本输入之间的语义联系。
变压器在 VLM 中的实际应用包括图像说明生成、多模态搜索和内容审核。例如，DALL-E 使用变压器根据跨模态注意力迭代细化像素块，从文本描述生成图像。开发者受益于基于变压器的 VLM，因为它们简化了构建需要理解两种模态的系统，例如自动化生成图像的替代文本（alt-text）。然而，计算成本仍然是一个挑战——使用变压器处理高分辨率图像需要大量内存。基于块的处理、线性注意力或混合架构（例如，将 CNN 与变压器结合）等技术可以解决这些限制，同时保持性能。总的来说，变压器为连接视觉和语言提供了灵活的框架，使其成为现代多模态 AI 系统的基础。