自动驾驶汽车中的计算机视觉是指使用摄像头和算法来解释车辆周围环境中的视觉数据，使其能够导航、检测物体并做出决策。与仅依赖 LiDAR 或雷达的系统不同，计算机视觉处理图像和视频以识别车道标记、交通标志、行人、车辆和其他障碍物。例如，一辆自动驾驶汽车通过分析帧内的颜色、形状和位置，使用摄像头检测红灯。这种视觉理解对于车道保持、避撞和路径规划等任务至关重要，构成了自主系统中感知的基础。
核心技术挑战在于将原始像素数据转化为可操作的见解。卷积神经网络 (CNN) 等算法处理图像以分类对象（例如，区分汽车和自行车）或将场景分割成区域（例如，道路与人行道）。 YOLO（You Only Look Once）或 Faster R-CNN 等目标检测模型实时识别和定位多个对象，而语义分割将图像划分为“可行驶区域”或“行人”等类别。 这些任务需要处理光照、天气和遮挡的变化——例如，识别部分遮挡的停车标志或隐藏在停放的汽车后面的行人。开发人员经常优化模型的延迟和准确性，以平衡实时推理的需求和可靠的结果。
计算机视觉与其他系统集成以确保稳健性。例如，LiDAR 提供深度数据以补充基于摄像头的目标检测，而雷达处理恶劣天气条件。传感器融合结合了这些输入以减少错误。 KITTI 数据集等工具提供标记图像用于训练模型，TensorFlow 或 PyTorch 等框架简化了实现。测试包括针对极端情况（例如，罕见的道路标志或不寻常的障碍物）的验证，通常使用 CARLA 等模拟工具。 开发人员必须不断改进模型以解决实际性能中的差距，确保系统适应不同的环境。 这种迭代过程与硬件优化（例如，在嵌入式 GPU 上部署模型）相结合，使计算机视觉成为自动驾驶堆栈的关键且不断发展的组成部分。