视觉语言模型（VLMs）应用于自动驾驶汽车，通过结合视觉数据和上下文语言理解来增强感知、决策和交互。这些模型处理来自摄像头、激光雷达和其他传感器的输入，同时解释文本或语义信息，例如路标、交通规则或用户指令。通过将视觉模式与基于语言的概念相关联，VLMs 使车辆能够更好地解释复杂的驾驶场景并做出适当的响应。
一个关键应用是场景理解和物体识别。VLMs 可以通过利用视觉和语义数据更准确地识别和分类物体（例如行人、车辆）和上下文线索（例如交通标志、道路标记）。例如，VLM 可以识别带有手写文字的临时绕行标志，而传统的视觉系统可能会误分类。通过理解文本及其与环境的相关性，车辆可以动态调整其路径。此外，VLMs 通过将视觉运动与基于语言的意图相关联，改进了模糊场景的处理，例如区分招手过街的行人与站立不动的行人。
另一个用例是人车交互。VLMs 启用自然语言接口，供乘客发出指令（例如，“在有户外座位的咖啡馆附近找停车位”）或提问（例如，“我们为什么减速？”）。模型处理语音，将其映射到视觉数据（例如，通过摄像头识别有户外座位的咖啡馆），并生成上下文响应。这种双向交互提高了用户的信任和态势感知能力。例如，如果乘客询问车辆突然变道的原因，VLM 可以使用实时传感器融合解释说，“正在避让前方检测到的障碍物”。
最后，VLMs 通过生成车辆行为的语义解释来支持关键安全决策。例如，当遇到意外障碍物时，VLM 可能会分析摄像头画面和交通规则，优先选择停车或重新规划路线。此功能还有助于测试期间的调试：开发人员可以查询车辆做出特定选择的原因，VLM 会根据传感器数据和学到的驾驶策略提供文本解释。通过整合语言理解，VLMs 为自动驾驶系统增加了一层可解释性，使其更可靠且更易于进行实际部署验证。