视觉语言模型 (VLM) 中，对齐视觉和语言主要涉及三个挑战：弥合模态差距、捕捉上下文关系以及管理计算复杂度。这些问题出现是因为视觉数据（像素、形状）和语言数据（词语、语法）具有根本不同的结构，使得它们的集成并非易事 [8]。
首先，模态差距造成表示不匹配。例如，图像包含必须映射到离散文本标记的空间和颜色信息。模型通常难以将抽象概念（例如，“幸福”）与视觉特征联系起来，除非经过显式训练。跨模态注意力层等技术试图解决这个问题，但当物体被部分遮挡或图像包含罕见的元素组合（例如，雪景中的“红象”）时可能会失败。其次，上下文理解要求模型推断隐式关系。一张撑伞人物的照片可能被描述为“正在下雨”，但 VLM 必须从视觉线索而非直接标签推断天气状况。当模型误解上下文时会发生错误，例如将“狗追球”误认为“球附近的狗”。第三，计算需求限制了可扩展性。在高清图像和大型文本语料库上训练 VLM 需要大量资源。例如，使用 Transformer 架构处理 4K 图像会耗尽 GPU 内存，迫使在模型准确性和推理速度之间进行权衡。
尽管 CLIP 或 Flamingo 等架构取得了进展，但这些挑战依然存在。开发者必须优先考虑数据质量（例如，策划对齐的图像-文本对），采用高效的训练策略（例如，蒸馏），并设计能够测试模态对齐和现实世界推理的评估指标。