CLIP (Contrastive Language-Image Pretraining，对比语言-图像预训练) 是 OpenAI 开发的一种神经网络模型，它学习将图像与其对应的文本描述关联起来。它通过在大量的图像-文本对数据集上进行训练，旨在理解视觉和文本数据。与训练用于预测固定类别（例如，“猫”或“狗”）的传统计算机视觉模型不同，CLIP 学习一个共享的嵌入空间，在该空间中可以直接比较图像和文本。这使其能够执行诸如零样本图像分类之类的任务，无需进行特定任务的训练即可将图像分类到新颖的类别中。
CLIP 的架构包含两个主要组件：图像编码器和文本编码器。图像编码器处理图像，通常使用 Vision Transformer (ViT) 或 ResNet，而文本编码器使用基于 Transformer 的模型处理自然语言。在训练过程中，模型输入成对的图像和文本标题，它学习最大化匹配对嵌入之间的相似度，同时最小化不匹配对的相似度。这种对比学习方法使 CLIP 能够泛化到广泛的视觉概念。例如，如果在带有标题“一只金毛犬在玩叼球”的狗照片上进行训练，CLIP 会学习将狗的视觉特征与文本描述联系起来，即使它从未单独见过“金毛犬”。
开发者可以利用 CLIP 进行零样本分类、图像检索或多模态搜索等任务。例如，要对一只鸟的图像进行分类，您可以向 CLIP 提供文本提示，例如“一只麻雀的照片”、“一只老鹰的照片”和“一只企鹅的照片”，它将返回与图像最相似的文本。CLIP 也用于创意应用，例如从文本生成图像（通过 DALL-E 等模型）或通过将图像与基于文本的准则进行比较来过滤不当内容。然而，其性能取决于其训练数据的多样性，在没有微调的情况下，它可能难以处理高度专业化的领域（例如，医学图像）。OpenAI 提供预训练模型和 API，方便将其集成到应用程序中。