黑客利用对抗性扰动来攻击自动驾驶汽车计算机视觉系统中的漏洞。这些扰动是对输入数据（如摄像头或 LiDAR 图像）进行微小、精心制作的改变，旨在欺骗机器学习模型做出错误预测。例如，停车标志可能被轻微修改，添加人类几乎注意不到的贴纸或油漆图案，但这会导致汽车的物体检测系统将其错误地识别为限速标志或完全忽略它。核心思想是通过引入利用 AI 训练方式或数据处理方式中弱点的输入来操纵模型的决策过程。
对抗性攻击通常依赖于快速梯度符号法（FGSM）或投影梯度下降法（PGD）等技术，这些技术利用模型自身的训练数据和梯度来识别能最大化预测错误的扰动。在物理场景中，攻击者可能将这些扰动应用于现实世界的物体。研究人员证明，在停车标志上贴上黑白贴纸可以将检测精度从 90% 降至接近零。同样，精心绘制的路面标记可能会欺骗车道检测系统，导致车辆偏离车道。这些攻击之所以有效，是因为自动驾驶 AI 模型是基于特定模式训练的，微小的偏差——即使对人类来说毫无意义——也可能导致模型出错。例如，一项研究表明，使用可打印贴纸向路标添加对抗性噪声，导致特斯拉的 Autopilot 错误读取限速或忽略让行标志。
开发者通过对抗性训练等方法来抵御这些攻击，即在训练过程中让模型接触扰动数据以提高鲁棒性。输入预处理（如降噪或图像归一化）也可以滤除一些扰动。冗余——例如结合摄像头数据与 LiDAR 或雷达数据——有助于交叉检查预测。然而，没有万无一失的解决方案。攻击者可以通过针对特定传感器类型或利用模型集合中的漏洞来适应。例如，扰动 LiDAR 点云以隐藏障碍物仍然是一个问题。尽管防御措施正在改进，但对抗性攻击突显了在自动驾驶系统中进行严格测试和分层安全措施的必要性，以减轻碰撞或导航失败等风险。