当前视觉-语言模型（VLM）在为复杂场景生成字幕时面临多项局限性，主要原因在于上下文理解、处理抽象概念和保持一致性方面的挑战。虽然 VLM 擅长识别常见物体和基本关系，但它们通常难以处理涉及细微互动、分层语义或非常规构图的场景。这些局限性源于其训练数据的偏差、架构限制以及难以解释隐含或象征性信息。
一个主要局限性是无法在拥挤或动态场景中充分理解上下文层次和空间关系。例如，VLM 可能正确识别图像中的个体元素，如“一只狗”、“一个飞盘”和“一个公园”，但无法描述它们如何互动（例如，“狗跳起来接住半空中的飞盘”）。同样，在一个繁忙的市场场景中，模型可能会列出物体，但忽略叙事——例如一个摊贩与顾客争吵而其他人围观。这之所以发生，是因为 VLM 通常优先考虑物体检测，而不是推断动作、情感或因果关系。当视角模糊时，它们也难以处理相对位置，例如区分一个物体是在另一个物体的“后面”、“下面”还是“旁边”。
另一个问题是处理抽象或领域特定的内容。在通用数据集上训练的 VLM 可能会误解隐喻、文化引用或技术视觉信息。例如，一幅描绘“战争如暴风雨”的画作可能会被字面描述为“战场上方的乌云”，而未能捕捉其象征意义。同样，在医学影像中，VLM 可能会使用外行术语（“骨头上的白点”）来不准确地描述 X 光片，而不是识别骨折。这些模型还缺乏常识性推理能力——比如知道一个人在阳光下打伞是不寻常的——这导致它们生成的描述会遗漏矛盾或上下文中的荒谬之处。
最后，VLM 在为复杂场景生成字幕时常常产生不一致或过于笼统的描述。它们可能会生成看似合理但不正确的细节（例如，如果雪景不突出，则将冬季场景描述为“阳光明媚”），或者重复使用诸如“一群人”之类的安全短语，而不是具体说明动作。这源于其训练目标优先考虑广泛的准确性而非精确性。对于开发者来说，解决这些差距需要改进空间推理模块、整合领域特定知识以及设计惩罚模糊性的损失函数。在此之前，VLM 在需要精细、上下文感知描述的场景中仍将受到限制。