CLIP（对比语言-图像预训练）是一种神经网络模型，旨在理解图像并将其与相应的文本描述关联起来。它由 OpenAI 开发，通过在大量的图像-文本对数据集上进行训练，创建一个共享的嵌入空间，使图像及其文本描述能够彼此靠近地映射。这种方法使 CLIP 能够执行零样本图像分类等任务，即无需对新类别进行显式训练即可将图像分类到这些类别中。在视觉-语言模型（VLMs）中，CLIP 作为基础组件，使系统能够无缝处理和关联视觉和文本信息。
CLIP 的工作原理是训练两个独立的编码器：一个用于图像（例如 ResNet 或 Vision Transformer），另一个用于文本（例如基于 Transformer 的模型）。在训练期间，模型会接收一批图像-文本对。图像编码器生成图像的嵌入（数字表示），文本编码器则对相应的描述执行相同的操作。然后，对比损失函数调整嵌入，以最大化匹配对之间的相似度，并最小化不匹配对之间的相似度。例如，如果一批数据包含一张狗的图像和文本“一只金毛猎犬”，CLIP 会确保它们的嵌入比将同一图像与不相关文本（如“城市天际线”）配对时更接近。此过程创建了一个共享空间，其中语义相关的图像和文本可以对齐，即使它们在训练期间未被显式配对。
在实际应用中，CLIP 的优势在于其灵活性。例如，在零样本分类中，开发者可以嵌入图像，并将其与各种类别描述（例如，“一只猫的照片” vs. “一辆汽车的照片”）的嵌入进行比较，从而预测类别，而无需进行任务特定的训练。利用 CLIP 的 VLM 还可以驱动图像检索（通过文本查询搜索图像）或指导文本到图像生成模型（例如 DALL-E），确保生成的视觉效果与文本提示对齐。通过减少对标记数据集的依赖并实现跨任务的泛化，CLIP 简化了将视觉-语言系统适应新领域（例如带有自定义诊断标签的医学影像）的过程，同时保持稳健的性能。