视觉-语言模型 (VLM) 通过使系统能够同时解释视觉数据和语言，从而增强增强现实 (AR) 和虚拟现实 (VR)，改进用户与数字环境的交互方式。这些模型同时处理图像和文本，使 AR/VR 应用能够理解上下文、生成描述性内容并响应自然语言命令。对于开发者来说，这意味着通过更智能的对象识别、场景分析和用户驱动的交互，构建虚拟世界和物理世界更无缝融合的体验。
VLM 的一个关键作用是实现 AR 中的实时场景理解和上下文反馈。例如，VLM 可以分析用户的摄像头画面，识别对象、识别空间关系并叠加相关信息。开发者可以利用这一点创建一个 AR 应用，通过扫描零件并提供文本或语音的分步说明来帮助用户组装家具。在 VR 中，VLM 可以生成虚拟环境的动态描述，从而辅助可访问性——例如为视障用户描述场景。它们还允许用户使用简单的语言修改 VR 世界，例如说“在左墙上添加一个红色沙发”，模型会将这句话翻译成渲染引擎可执行的命令。
VLM 还可以简化内容创建和定制。在 VR 训练模拟中，VLM 可以自动标记 3D 环境中的对象（例如，在手术模拟器中标注医疗工具）或根据用户输入为虚拟角色生成对话。对于 AR 开发者来说，VLM 简化了诸如用准确标签标注真实世界场景或自动化工业维护工作流程文档等任务。通过将 VLM 集成到 AR/VR 管线中，开发者减少了对手动数据标注的依赖，并创建了通过自然交互适应用户需求的系统，使沉浸式技术更加直观和可扩展。