深度学习使自动驾驶汽车能够通过使用在大型数据集上训练的神经网络来处理传感器数据、识别模式并做出驾驶决策。这些模型通过学习真实世界的示例来处理诸如物体检测、路径规划和行为预测之类的任务。例如，卷积神经网络 (CNN) 分析摄像头反馈以识别行人、车辆和交通标志，而循环神经网络 (RNN) 处理来自激光雷达或雷达的序列数据以随时间推移跟踪移动物体。诸如特斯拉的 Autopilot 或 Waymo 的自动驾驶汽车之类的系统依赖于这些架构来将原始传感器输入转换为可操作的见解，例如确定何时变道或减速。
一个关键应用是感知，其中深度学习模型融合来自摄像头、激光雷达和雷达的数据以构建对环境的 3D 理解。 CNN 对图像进行分割以区分道路边界、检测车道标记和分类物体（例如，区分停放的汽车和即将移动的汽车）。对于预测，诸如 Transformer 网络或长短期记忆 (LSTM) 网络之类的模型预测其他道路使用者的行为——预测行人是否会过马路或骑自行车的人是否会转弯。这些预测告知车辆的规划系统，该系统使用强化学习或优化算法来生成安全的轨迹。例如，车辆可能会根据预测的交通流量调整其速度，或绕过障碍物重新规划路线。
挑战包括确保实时推理和稳健性。自动驾驶系统必须在几毫秒内处理数据，这需要高效的架构，例如 MobileNets 或量化技术来减少计算负载。安全关键场景需要冗余，例如组合多个传感器模式以交叉验证检测结果。工程师还会模拟罕见的边缘情况（例如，突然的天气变化）以提高模型的泛化能力。虽然深度学习提供了核心决策框架，但它与传统的机器人组件（如用于传感器融合的卡尔曼滤波器和用于故障安全行为的基于规则的系统）集成在一起。这种混合方法平衡了适应性和可靠性，确保车辆在各种条件下安全运行。