相似性搜索通过快速比较实时传感器数据与庞大的历史驾驶场景数据集，使自动驾驶汽车能够对不可预测的人类行为做出反应。当汽车遇到意外情况（例如行人突然走到路上或骑自行车的人不可预测地转向）时，它可以在预先分析的数据中搜索相似模式，以确定最安全的应对措施。这种方法有助于系统从过去的经验中进行泛化，即使精确的规则或预编程逻辑无法涵盖所有边缘情况。
例如，考虑这样一个场景：汽车传感器检测到有人在街区中间、人行横道以外的地方跑过马路。传统的基于规则的系统可能难以确定行动的优先级，因为这违反了预期行为。借助相似性搜索，汽车可以在其数据库中查询行人在相似位置、速度和轨迹出现的情况。如果历史数据显示，在 95% 的可比情况下，轻微刹车或向左转向能有效避免碰撞，汽车就可以应用该策略。同样，如果另一车道的司机突然超车到前面，系统可以检索类似的场景，根据过去数据的结果决定是减速、变道还是保持速度。
从底层原理看，这依赖于将传感器数据（摄像头、激光雷达、雷达）嵌入到高维向量中的技术，这些向量捕获空间、时间和上下文特征。这些向量使用近似最近邻 (ANN) 算法进行索引，即使在数 TB 的数据中也能实现快速查找。例如，汽车可以使用预训练的神经网络将行人的运动转换为向量表示，然后使用 FAISS 或 HNSW 等库在几毫秒内搜索 50 个最接近的匹配项。开发人员必须平衡准确性和速度——为实时推理使用更轻量的模型，同时确保数据集包含多样化、标注好的边缘情况。不断更新数据集，纳入新的驾驶场景，有助于系统适应新出现的人类行为模式，而无需对核心 AI 模型进行完全再训练。