评估视觉-语言模型 (VLMs) 中的跨模态检索性能，涉及衡量模型在给定一种模态（例如，文本）的查询时，从另一种模态（例如，图像）检索相关数据的效率。该过程通常依赖于标准化的指标、数据集和基准测试，以确保模型之间比较的一致性。开发者主要关注两种检索任务：文本到图像（查找与文本查询匹配的图像）和图像到文本（查找描述图像的文本）。核心挑战在于确保模型理解模态之间的语义对齐。
常用的评估指标包括 Recall@K、平均倒数排名 (MRR) 和 平均精度 (mAP)。Recall@K 衡量正确项是否出现在前 K 个检索结果中。例如，如果用户搜索“公园里的红色自行车”，Recall@5 会检查前五个结果中是否至少有一个相关图像。MRR 评估第一个正确结果的排名，排名越高表示模型性能越好。mAP 考虑了检索列表中所有相关项的顺序，对于有多个有效匹配项的查询非常有用。这些指标通常对大量测试查询取平均值，以确保统计可靠性。
诸如 MS-COCO、Flickr30k 和 Conceptual Captions 等数据集被广泛用于基准测试。这些数据集提供带有专家标注的真实标签的配对图像-文本示例，支持进行标准化的训练、验证和测试划分。例如，MS-COCO 包含 123,000 张图像，每张图像有五个描述，研究人员经常使用 Recall@1、Recall@5 和 Recall@10 等指标报告其 1K 测试图像上的结果。当模型过度拟合数据集特定模式时会出现挑战，因此在未见过的数据集（例如用于测试不同文化背景的 CrossModal360）上进行零样本评估越来越普遍，以测试泛化能力。
实际考虑因素包括计算效率和实际应用性。检索任务通常涉及大规模数据库，因此延迟和内存使用非常重要。开发者可能会使用近似最近邻搜索库，如 FAISS，以在不牺牲准确性的情况下加快检索速度。此外，领域特定的适应性至关重要：医疗领域的 VLM 在从文本描述中检索 X 光图像时，可能会优先考虑精度而非召回率，而社交媒体模型可能会优化以获取多样化结果。平衡这些因素需要进行迭代测试，结合定量指标和定性分析来完善模态之间的对齐。