评估视觉语言模型 (VLM) 最常用的基准测试包括视觉问答 (VQA)、COCO Captions、跨模态检索任务（如 Flickr30k 和 MS-COCO）以及 GQA 和 OK-VQA 等专门数据集。这些基准测试评估了图像文本理解、字幕生成、检索精度和复杂推理等能力。开发者使用这些标准化评估来比较模型性能、识别弱点并指导多模态 AI 系统的改进。
一个广泛使用的基准测试是 VQA v2，它评估模型回答关于图像问题的能力。它包含超过 110 万个与 20 万张真实世界图像相关的问题，涵盖对象识别、空间关系和场景上下文等主题。模型的评分基于答案的准确性，通常使用人类生成的答案作为真实标签。另一个关键基准测试是 COCO Captions，它测试图像字幕生成的质量。模型为图像生成描述性文本，并使用 BLEU、METEOR 和 CIDEr 等指标将输出与人工编写的参考进行比较。这些基准测试强调自然语言的流畅性和与视觉内容的对齐，使其成为需要图像到文本理解任务的基础。
跨模态检索任务，例如 Flickr30k 和 MS-COCO 中的任务，衡量模型将图像与相关文本关联（反之亦然）的能力。例如，给定一张图像，模型从候选池中检索匹配的字幕，并使用 recall@k（正确结果在 top *k* 匹配中出现的频率）进行评分。这些基准测试强调模态之间的细粒度对齐。对于高级推理，GQA 通过需要逻辑推理的组合问题（例如，“拿着伞的人湿了吗？”）来挑战模型。OK-VQA 增加了外部知识的要求（例如，对于一张板球拍的图片问“这是什么运动？”），迫使模型整合现实世界的知识。这些基准测试将 VLM 推向超越基本识别的更深层次的理解和知识应用。
通过结合这些基准测试，开发者可以全面了解 VLM 的能力。标准化的指标确保评估的一致性，而多样的任务则突出了优势和不足。例如，一个在 VQA 上表现出色的模型，如果缺乏外部知识整合，可能在 OK-VQA 上会遇到困难。这种多方面的方法推动了构建强大、通用 VLM 的进展。