什么是近似最近邻 (ANN) 搜索？ 近似最近邻 (ANN) 搜索是一种用于在数据集中查找“足够接近”查询点的数据点的技术，而不是保证完全最近的匹配。与评估每个可能的候选者以识别最接近匹配的精确最近邻方法不同，ANN 算法通过接受结果中的少量误差来优先考虑速度和效率。例如，如果您在数百万个图像的数据库中搜索相似图像，则 ANN 方法可能会返回最接近您的查询的几乎最接近的 10 个图像，即使它们不是绝对最接近的。这种在精度和速度之间的权衡使得 ANN 适用于大规模应用程序，在这些应用程序中，精确方法会太慢或资源密集。
为什么 ANN 对于高维数据是必要的 高维数据（例如文本嵌入、图像特征或用户行为向量）带来了独特的挑战。随着维数的增加，由于“维度灾难”，精确最近邻搜索的计算成本呈指数增长。例如，在 1000 维空间中，传统的基于树的结构（如 k-d 树或球树）变得效率低下，因为它们的性能会随着维数的增加而降低。 ANN 算法通过采用诸如降维、将数据划分为簇或使用哈希技术来限制搜索范围等策略来解决此问题。例如，使用 300 维用户嵌入的产品推荐系统可能会使用 ANN 来避免将用户的向量与数十亿个其他向量进行详尽的比较。如果没有近似，此类系统将难以提供实时结果。
实际示例和权衡 ANN 算法（如局部敏感哈希 (LSH)、HNSW（分层可导航小世界）或 ANNOY（近似最近邻哦耶））旨在有效地处理高维数据。例如，LSH 将相似的向量映射到相同的“哈希桶”中，从而允许搜索仅关注数据集的子集。虽然这些方法可能会错过完全最近的邻居，但它们通常以最小的精度损失实现亚线性搜索时间（例如，毫秒而不是分钟）。例如，在自然语言处理中，使用 768 维 BERT 嵌入搜索语义相似的句子在规模上使用精确方法是不切实际的。 ANN 可以在聊天机器人或文档检索等应用程序中实现实时语义搜索。关键的权衡是可以调整的：开发人员可以调整参数以优先考虑速度（例如，搜索 5% 的数据集）或准确性（例如，搜索 20%），具体取决于用例。这种灵活性使 ANN 对于现代机器学习和数据检索系统来说是不可或缺的。