当前视觉-语言模型 (VLM) 在处理和推理视觉及文本信息方面面临着几个关键局限性。这些挑战源于上下文理解的不足、空间和时间推理的困难，以及对可能无法很好地推广到现实世界场景的大规模数据的依赖。使用 VLM 的开发者在设计应用程序或解释模型输出时应了解这些限制。
一个主要的局限性是缺乏强大的上下文推理能力。虽然 VLM 可以生成图像的合理描述或回答简单问题，但它们通常难以完成需要更深入理解上下文或常识知识的任务。例如，模型可能正确识别图像中一个拿着雨伞的人，但如果没有额外的视觉线索（如可见的雨或阴影），则无法推断是否正在下雨或天晴。同样，VLM 可能会误解文化或情境背景——例如将传统的仪式服装与日常服装混淆——因为它们的训练数据缺乏足够的多样性或领域特定的标注。这使得它们在需要细致解读的应用中不可靠，例如医学影像分析或历史文物记录。
另一个挑战是处理复杂的空间和时间关系。VLM 在杂乱的场景中经常会错误地表示物体的位置或互动。例如，模型可能会不准确地描述一个狗在沙发后面追球的场景，错误地说明球相对于狗的位置。时间推理问题甚至更严重：VLM 难以应对需要跟踪时间变化基于视频的任务，例如预测序列中的下一个动作（例如，厨房视频中的人是会打开炉子还是打开冰箱）。这些局限性出现是因为大多数 VLM 将静态图像或短视频剪辑作为独立的快照处理，而不是动态的、相互关联的事件。
最后，VLM 的训练计算成本高昂，并且通常依赖于有偏见或不完整的数据集。训练像 CLIP 或 Flamingo 这样的 VLM 需要大量的成对图像-文本数据，这可能会引入源材料的偏见（例如，过度代表西方文化或刻板的性别角色）。由于标注数据有限和再训练成本高昂，针对工业质量控制或卫星图像分析等专业领域对这些模型进行微调具有挑战性。此外，VLM 可能会生成听起来合理但事实不正确的输出（例如，编造物体名称或错误归因行为），这在没有人为监督的情况下很难检测。这些问题使得在自动驾驶汽车或诊断工具等关键系统中部署存在风险，除非经过严格的验证。