用于向量搜索的下一代索引方法侧重于平衡高维数据的速度、准确性和可扩展性。 最广泛采用的方法包括基于图的索引(如分层可导航小世界 (HNSW))、量化技术(如乘积量化 (PQ))以及结合多种策略的混合方法。 这些方法解决了传统方法(如精确 k-NN 搜索)的局限性,后者对于大型数据集而言计算成本很高。 开发人员通常会优先考虑权衡:基于图的方法擅长查询速度,量化减少内存使用,而混合设计旨在优化两者。
一种突出的方法是 HNSW,它构建一个分层图,其中每一层代表数据点的子集。 较高层包含的点较少,从而可以在搜索期间实现快速遍历。 例如,查询从顶层开始,导航到最近的邻居,并在较低层中细化搜索。 与平面索引相比,此结构减少了距离计算的数量。 另一项关键技术是乘积量化 (PQ),它通过将向量拆分为子向量并将每个子向量分配给来自预训练代码本的质心,从而将向量压缩为更小的代码。 FAISS 等库将 PQ 与倒排文件索引 (IVF-PQ) 结合使用,以将相似向量分组到集群中,从而实现高效的粗到细搜索。 这减少了内存占用,同时保持了可接受的准确性,使其适用于数十亿规模的数据集。
新兴方法包括适应数据分布的学习索引。 例如,DeepHash 使用神经网络将向量映射到针对相似性搜索优化的二进制代码。 DiskANN 是另一种专为磁盘存储而设计的创新,它将基于图的遍历与压缩向量相结合,以处理内存限制。 混合方法(例如 HNSW 与 PQ 结合)利用多种技术的优势——使用 PQ 进行压缩,使用 HNSW 进行快速邻居检索。 Milvus 和 Elasticsearch 的向量搜索模块等工具集成了这些方法,提供可配置的管道。 开发人员可以根据用例在它们之间进行选择:HNSW 适用于低延迟应用程序,PQ 适用于内存效率,而学习索引适用于特定领域的优化。 这些进步使向量搜索更易于用于推荐系统和语义检索等应用程序。