为了评估视觉语言模型（VLM），开发者依赖于任务特定指标、跨模态对齐分数以及人工评估的组合。这些指标评估模型处理和连接视觉和文本信息的有效性。指标的选择取决于具体的任务，例如图像标注、文本到图像检索或视觉问答（VQA）。每个指标都能从句法准确性到语义理解等方面，提供模型性能的不同见解。
任务特定指标是为特定应用量身定制的。对于图像标注，常用的自动化指标包括 BLEU（衡量与参考标注的 n-gram 重叠率）和 CIDEr（使用 TF-IDF 对 n-gram 进行加权以优先考虑信息词）。在检索任务中，例如查找与文本查询匹配的图像，recall@k 衡量正确项是否出现在前 k 个结果中。对于 VQA，准确率通过比较模型答案与人工提供的标准答案来计算，通常使用软分数来考虑答案的变化（例如，“yes” vs. “yeah”）。对于文本到图像生成，Fréchet Inception Distance (FID) 通过比较生成图像与真实图像之间的统计相似性来评估图像质量，而 CLIPScore 则通过计算预训练 CLIP 模型中图像和文本嵌入之间的余弦相似度来衡量对齐程度。
跨模态对齐指标关注模型连接视觉和文本数据的能力。例如，CLIPScore 使用预训练的视觉语言模型将图像和文本编码到共享空间中，然后计算它们的相似度。这对于图像-文本匹配或评估标注相关性等任务非常有用。对于检索，平均准确率 (mAP) 或 ROC 曲线下面积 (AUC-ROC) 等指标量化了模型对相关项排序的效果。语义相似性分数，例如源自 BERT 嵌入的分数，也可以评估生成的文本是否捕捉了参考标注的含义，即使措辞不同。
人工评估仍然至关重要，因为自动化指标可能会忽略创造性或上下文适宜性等细微之处。开发者经常进行用户研究，参与者对输出的流畅性、相关性或事实准确性进行评分。例如，在标注任务中，人工可能按 1（不相关）到 5（高度描述性）的等级对标注进行评分。A/B 测试也很常见，用户比较两个模型的输出以确定哪个表现更好。虽然耗时，但人工评估提供了实际的现实检验，特别是对于图像生成或故事讲述等主观任务。结合这些方法可以确保对 VLM 能力进行全面评估。