训练视觉-语言模型（VLM）需要三种主要类型的数据：配对的图像-文本数据、多样化的大规模数据集以及结构化标注或元数据。每种数据都在使模型理解视觉信息和文本信息之间的关系、跨任务泛化以及在现实世界场景中准确执行方面发挥着独特的作用。
首先，配对的图像-文本数据是基础要求。这包括直接链接到文本描述的图像，例如标题、标签或上下文信息。例如，像 COCO（上下文中的常见对象）这样的数据集提供了带有详细标题和对象标注的图像，而像 LAION-5B 这样的网页抓取数据集则使用公开图像的 alt 文本描述。这些配对数据教会模型将视觉特征（例如，对象、场景）与相应的单词或短语对齐。如果没有这种对齐，VLM 就无法学习从图像生成相关文本或根据文本查询检索图像。即使是嘈杂或不完美的配对数据（例如，带有主题标签的社交媒体图像）也可能有用，前提是数据量足够大以减轻不一致性。
其次，多样性和规模至关重要。VLM 必须处理广泛的视觉概念、语言和上下文，这需要涵盖多个领域（例如，自然、城市环境）、英语以外的语言以及不同的光照或对象配置的数据集。例如，医疗 VLM 可能需要将 X 射线图像与诊断报告配对，而专注于零售的模型可以使用带有多种语言描述的产品图像。大规模数据集（例如，包含 50 亿图像-文本对的 LAION-5B）有助于模型更好地泛化，但平衡数量与质量是关键。网页抓取数据通常包含不相关或有偏见的样本，因此需要进行预处理步骤，例如过滤显性内容或去重，以提高可用性。
最后，结构化标注或元数据可以提高模型在特定任务上的性能。虽然原始的图像-文本对足以用于基本对齐，但像对象检测或视觉问答等任务需要额外的标签。例如，COCO 或 Flickr30K 中的边界框使模型能够在图像内定位对象，而时间戳或地理位置等元数据（例如，在卫星图像数据集中）可以提供上下文线索。在微调过程中，通常使用带有任务特定标注（例如，医疗扫描中的标注区域）的较小数据集来使预训练的 VLM 适应专门的用例。结构化数据减少了歧义，并帮助模型学习视觉元素和文本之间的精确关系。