要在VR中整合眼动追踪技术,您需要具备捕捉眼球运动的硬件和解析数据的软件。眼动追踪系统通常使用安装在头戴设备内部的近红外(IR)摄像头和光源来照射眼睛。这些摄像头会高速捕捉眼部图像,然后算法会处理这些图像以确定注视方向、瞳孔大小和眨眼检测。例如,HTC Vive Pro Eye 或 Meta Quest Pro 等头戴设备集成了红外传感器和定制光学元件,可以在不阻碍用户视线的情况下追踪眼球运动。开发者通过头戴设备SDK或Tobii、Pupil Labs等第三方工具提供的API访问这些数据。
实现过程包括三个主要步骤:硬件集成、数据处理和应用逻辑。首先,确保VR设备原生支持眼动追踪或通过附加组件(例如,用于PC VR的Tobii Eye Tracker)。接下来,使用OpenXR Eye Tracking等SDK或特定平台API(例如,Unity的XR Input Subsystem)来检索原始注视数据。这些数据包括注视原点、方向和时间戳等指标。为了提高准确性,在设置过程中让用户注视特定点来校准系统。例如,Unity的XR Interaction Toolkit提供了内置的校准工作流程。处理数据以过滤噪声(例如,使用移动平均)并使用光线投射将注视点映射到场景中的3D对象。您还可以追踪注视持续时间等指标用于分析。
实际应用包括注视点渲染(foveated rendering),通过仅以高细节渲染焦点区域来降低GPU负载。NVIDIA的VRSS 2使用眼动追踪来动态调整渲染分辨率。其他用例包括注视驱动的UI交互(例如,通过注视菜单项来选择)或游戏中自适应的NPC行为(例如,角色对被注视做出反应)。为了优化性能,通过在头戴设备本地处理数据来最小化延迟,并避免在CPU密集型场景中过度进行光线投射。在不同光照条件和用户解剖结构下进行测试以确保鲁棒性。像Pupil Core这样的开源工具或Varjo等商业SDK提供了预构建的解决方案,可简化开发,同时保留低级别访问以进行自定义。