对比学习在视觉-语言模型（VLM）中是一种训练方法，它通过比较成对的数据来教模型对齐视觉和文本数据。核心思想是让匹配的图像-文本对的表示在共享的嵌入空间中更接近，同时将不匹配的对推开。例如，如果一张狗的图片与文本“一只棕色的狗”配对，它们的嵌入应该比同一张图片与不相关的文本（如“一辆蓝色的汽车”）配对时更相似。这通过使用对比损失函数（例如 InfoNCE 损失）来实现，该函数衡量一个批次中所有对的相似度分数，并优化正确匹配。
一个关键例子是 CLIP（对比语言-图像预训练）等模型，它训练独立的图像编码器和文本编码器。在训练过程中，CLIP 处理包含数千个图像-文本对的批次。对于每张图像，模型计算其与批次中所有文本嵌入的相似度分数。然后，损失函数会奖励正确配对的高相似度（例如，一张猫的图片及其配文），并惩罚错误组合的高相似度。这迫使编码器学习捕获语义对齐的特征，例如识别图像和文本之间共享的对象、颜色或动作。模型不依赖于显式标签，而是利用来自网络爬取内容等数据集的自然图像-文本对。
对比学习的优势包括对噪声数据的鲁棒性以及泛化到未见任务（例如零样本图像分类）的能力。然而，挑战包括需要大规模数据集和计算资源来处理数百万对数据。ALIGN 和 FLAVA 等模型也使用这种方法，展示了其在检索或多模态推理等任务中的通用性。对于开发者而言，实现对比学习涉及设计高效的数据管道，选择合适的编码器架构（例如，图像使用 ResNet，文本使用 transformer），并在损失函数中调整温度参数以平衡相似度分数。这种方法已成为构建连接视觉和语言理解的 VLM 的基础技术。