视觉-语言模型（VLM）通过将视觉和文本数据整合到统一框架中，与传统计算机视觉（CV）和自然语言处理（NLP）模型有所不同。传统 CV 模型，如卷积神经网络（CNN），仅专注于分析图像——检测物体、分类场景或分割像素。类似地，NLP 模型，如循环神经网络（RNN）或 Transformer，处理文本以完成翻译或情感分析等任务。然而，VLM 弥合了这些领域，使需要理解图像和文本之间关系的任务成为可能，例如为图像生成描述或回答关于视觉内容的问题。例如，VLM 可以分析公园的照片并回答“长凳附近的自行车是什么颜色？”——这项任务需要同时理解图像和进行语言推理。
在架构上，VLM 将 CV 和 NLP 的组件结合到单一模型中。传统流程通常将视觉和语言视为独立模块：一个 CV 模型提取图像特征，然后将其馈送到 NLP 模型进行文本生成或分类。相比之下，CLIP 或 Flamingo 等 VLM 采用联合架构，同时处理视觉和文本输入。Transformer 通常用于处理跨模态交互，利用注意力机制对齐图像区域与相关词汇。例如，CLIP 在图像-文本对上进行训练，学习共享的嵌入空间，使其无需针对特定任务进行微调即可将图像与相关描述匹配。这与图像和文本模型独立训练、之后再组合用于特定应用的旧方法不同。
训练和应用范围也将 VLM 区别开来。传统的 CV 和 NLP 模型通常需要针对特定任务量身定制的大型标记数据集（例如，用于对象检测的标记图像或用于情感分析的带标注文本）。然而，VLM 利用在海量图像-文本对数据集上的多模态预训练，能够实现零样本或少样本泛化到新任务。例如，像 GPT-4V 这样的 VLM 可以回答关于其在训练期间从未见过的图像的问题，而传统 CV 模型则需要为此类任务重新训练。这种灵活性使得 VLM 在视觉搜索、视障辅助技术或机器人等应用中非常有用，在这些应用中，结合上下文解释两种模态至关重要。虽然传统模型在特定领域任务中表现出色，但 VLM 的设计提供了更广泛的适应性。