视觉-语言模型（VLM）是机器学习系统，旨在同时处理和理解视觉数据（如图像或视频）和文本数据。这些模型学习对齐来自这两种模态的信息，从而支持需要跨视觉和语言进行推理的任务。例如，VLM 可以生成图像的文本描述，回答有关视觉内容的问题，或根据文本查询检索相关的图像。在架构上，VLM 通常结合了计算机视觉（例如，卷积神经网络或视觉 Transformer）和自然语言处理（例如，基于 Transformer 的语言模型）的组件，并带有融合这些表示的机制。
VLM 通常使用大型配对图像-文本数据集进行训练，例如带有标题的照片或带有相应说明的屏幕截图。在训练过程中，模型学习将视觉模式与语言概念关联起来。例如，VLM 可能学习到短语“红苹果”对应于图像中的圆形红色物体。流行的例子包括 CLIP（对比语言-图像预训练）等模型，它将图像和文本映射到一个共享的嵌入空间，从而允许两者之间进行直接比较。另一个例子是 Flamingo，它处理交替出现的图像和文本序列，用于对话式交互。训练目标通常包括对比损失（匹配正确的图像-文本对）或生成任务（根据图像预测文本，反之亦然）。
对于开发者而言，VLM 通过 API 或开源库提供了实用的工具。例如，OpenAI 的 CLIP 可以通过 Python 集成，无需特定任务训练即可构建图像分类系统——使用文本提示作为分类器。Hugging Face 的 Transformers 库提供了 BLIP-2 等模型的实现，用于图像字幕生成或视觉问答。挑战包括计算成本（VLM 通常需要 GPU 进行推理）和数据集偏差，因为模型继承了训练数据的局限性。在特定领域数据（例如，带有报告的医学影像）上对预训练 VLM 进行微调是提高性能的常见做法。在生产环境中部署这些系统时，伦理考量，例如减轻有偏见的输出，也需要注意。