预训练是开发视觉-语言模型（VLM）的基础步骤，它使模型能够学习视觉和文本数据的通用表示。通过在包含图像-文本对的大规模数据集上进行训练，VLM 建立起对视觉概念（如物体、场景或动作）如何对应语言描述的共同理解。这一过程为模型奠定了广泛的知识基础，这些知识随后可以针对特定任务进行微调，例如图像字幕、视觉问答或跨模态检索。如果没有预训练，VLM 将缺乏跨不同任务的泛化能力，因为它们需要为每个应用从头开始学习这些关联。
预训练的一个关键方面是使用自监督或弱监督目标。例如，CLIP 或 ALIGN 等模型通过预测批量候选文本中哪个字幕与给定图像匹配来训练图像和文本的对齐。其他方法可能会遮盖文本或图像块的部分内容，并训练模型重建缺失的数据。这些任务迫使模型学习模态之间有意义的联系。预训练数据集通常包含网络抓取的图像-文本对（例如，LAION-5B 包含 58 亿个图像-文本示例），这些数据多样但包含噪声。模型架构通常将视觉编码器（如 ViT 或 ResNet）与文本编码器（如 BERT）结合，使用交叉注意力或融合层连接两个数据流。这个阶段计算密集，需要 GPU 或 TPU 来处理数十亿个示例。
预训练的实际好处是效率。开发者可以将预训练模型作为起点，减少对大型标注数据集的需求以及下游任务的训练时间。例如，一个医学影像团队可以采用预训练的 VLM，并在一个小型 X 光报告数据集上对其进行微调，以构建一个诊断助手。预训练还提高了模型的鲁棒性：在预训练期间接触过各种数据的模型能更好地处理边缘情况，例如在非传统光照下识别物体或解析含糊不清的字幕。然而，挑战依然存在，例如减轻来自网络数据的偏差或优化计算成本。总的来说，预训练充当了原始数据和特定任务模型之间的桥梁，使 VLM 能够快速适应现实世界的应用。