CLIP（对比语言-图像预训练）是 OpenAI 开发的一种神经网络模型，它学习将图像与相应的文本描述相关联。 与在具有固定类别的标记数据集上训练的传统计算机视觉模型不同，CLIP 是在从互联网上抓取的大量图像-文本对上训练的。 这种方法使其能够通过利用自然语言作为灵活的监督来源来理解广泛的视觉概念。 核心思想是在共享嵌入空间中对齐图像和文本，其中来自两种模态的相似概念彼此靠近放置。
CLIP 使用双编码器架构：一个编码器处理图像（例如，视觉 Transformer 或 ResNet），另一个编码器处理文本（例如，基于 Transformer 的模型）。 在训练期间，该模型会显示数百万个图像-文本对，并学习最大化匹配对的嵌入之间的相似性，同时最小化不匹配对的相似性。 这种对比学习目标确保，例如，狗的图像在嵌入空间中比与“一辆车”等不相关的短语更接近文本“一只狗”。 该模型不直接预测标签； 相反，它将输入图像的嵌入与潜在文本标签的嵌入进行比较，以找到最佳匹配。
开发人员可以使用 CLIP 进行零样本图像分类，其中模型在没有特定于任务的训练的情况下对图像进行分类。 例如，给定一张猫的图像和一组文本选项，如“猫”、“狗”或“汽车”，CLIP 会计算相似度分数以选择正确的标签。 它还用于多模式应用程序，如图像检索（通过文本查询搜索图像）或通过将生成的图像植根于文本提示来增强生成模型，如 DALL·E。 OpenAI 提供可通过 PyTorch 或 Hugging Face Transformers 等库访问的预训练 CLIP 模型，允许开发人员以最少的设置将其集成到工作流程中。 例如，开发人员可以使用 CLIP 通过将用户上传的图像与禁止的文本描述进行比较来过滤用户上传的图像，从而无需自定义训练即可实现内容审核。