自监督学习 (SSL) 是自动驾驶中的一项关键方法，它使模型能够从未标记的数据中学习有意义的表示，从而减少对手动注释数据集的依赖。 在 SSL 中，系统通过利用数据的结构（例如，相机、激光雷达或雷达等传感器输入中的时间或空间关系）来生成自己的训练信号。 这在自动驾驶中特别有用，因为为每种可能的场景（例如，对象检测、运动预测）收集标记数据是不切实际的。 SSL 允许模型在大量原始传感器数据上进行预训练，然后在较小的标记数据集上进行微调，以执行诸如行人检测或路径规划之类的特定任务。
SSL 的一种常见应用是从车载摄像头捕获的视频序列中学习。 例如，模型可以预测视频中的未来帧，或根据当前输入重建过去的帧。 这迫使模型了解运动动力学和场景一致性。 另一个例子涉及对比学习，其中模型区分“正”对（例如，来自略微不同角度的同一场景的两个激光雷达扫描）和“负”对（来自无关场景的扫描）。 这有助于模型学习强大的特征，以执行诸如对象识别之类的任务。 传感器融合——结合来自相机、激光雷达和雷达的数据——是 SSL 擅长的另一个领域。 模型可以通过从 RGB 输入预测深度来将激光雷达深度数据与相机图像对齐，从而创建无需显式标签的跨模态表示。
尽管具有优势，但自动驾驶中的 SSL 面临着挑战。 设计有效的预训练任务（例如，帧预测、旋转校正）需要确保学习的特征与下游任务（例如，避障）对齐。 嘈杂或不完整的传感器数据也会降低性能，因此需要强大的预处理。 此外，将知识从模拟转移到真实世界数据通常涉及诸如域适应之类的 SSL 技术，其中在合成数据上预训练的模型适应真实传感器输入。 例如，在模拟环境中训练的模型可以使用 SSL 来调整真实相机馈送中的光照变化。 通过解决这些挑战，SSL 能够实现更具可扩展性和适应性的系统，从而为诸如感知和预测之类的任务奠定基础，同时减少对昂贵的标记数据集的依赖。