视觉-语言模型（VLM）通过依靠其从训练数据中泛化和利用上下文线索的能力来处理图像中稀有或未见的物体。这些模型，例如 CLIP 或 Flamingo，在包含图像-文本对的大型数据集上进行训练，这使它们接触到各种各样的物体及其描述。然而，当遇到训练数据中不存在的物体时，VLM 会利用视觉特征和文本之间的语义关系进行有根据的猜测。例如，如果模型看到像“短尾矮袋鼠”这样的稀有动物（不在其训练集中），它可能会从相似动物（例如，“小型有袋动物”）中推断出特征，并将其与来自字幕或用户提示的文本上下文结合起来生成一个合理的描述。
为了更好地处理稀有物体，VLM 通常采用零样本学习和提示等技术。零样本学习允许模型通过将视觉模式与它们从未明确见过的文本描述对齐来识别物体。例如，如果用户询问“六角形时钟”，而模型之前没有遇到过，它可能会将查询分解为已知组件（“六边形”和“时钟”），并根据几何和功能关联将它们组合起来。此外，开发者可以使用详细的提示（例如提供属性，如“红色羽毛，长喙”）来引导 VLM 缩小可能性范围。这种方法利用了模型即使对于不熟悉的物品也能将文本提示与视觉模式关联起来的能力。
尽管有这些策略，VLM 在处理高度独特或上下文模糊的物体时仍然面临限制。例如，如果训练数据缺乏相关示例，模型可能会将专门的工具（例如，“3D 打印的石墨烯扳手”）误分类为通用的“工具”或“金属物体”。为了解决这个问题，开发者可以针对特定领域的数据对 VLM 进行微调，或使用检索增强方法在推理过程中交叉引用外部数据库。例如，集成知识图谱可以帮助模型将视觉特征链接到技术术语。虽然不完美，但这些方法通过用结构化外部信息或有针对性的调整补充其核心训练，增强了模型处理边缘情况的能力。