是的，有几个基准测试和案例研究专注于大规模向量搜索，通常涉及数亿或数十亿个数据点。 这些研究突出了高效处理高维数据所需的关键设计选择、权衡和优化。 三个值得注意的例子包括 Facebook AI Research 的 (FAISS) 十亿级基准测试、ANN Benchmark 项目和 Microsoft 的 SPANN 系统。 这些努力强调了在扩展时平衡速度、准确性和资源利用率的重要性。
FAISS 是一个广泛用于相似性搜索的库，在一个涉及 10 亿个向量的案例研究中进行了测试。结果表明，分层索引（例如，IVF 结构）与乘积量化相结合可以有效地减少内存使用，同时保持搜索速度。例如，使用倒排文件索引将数据划分为集群，从而允许在细粒度比较之前进行粗粒度搜索。量化将向量压缩为紧凑代码，从而将内存需求减少了 90% 以上。然而，这引入了权衡：激进的量化降低了准确性，需要仔细调整。该研究还强调了 GPU 加速，它通过并行化操作来加速索引和查询。这些发现强调需要使索引策略与硬件功能和准确性要求保持一致。
ANN Benchmark 项目比较了 Annoy、HNSW 和 FAISS 等库的跨数据集（例如 Deep1B（10 亿个向量））。它揭示了实际的见解：HNSW（分层可导航小世界）图在用于高维数据的召回率和速度方面表现出色，但会消耗更多内存。相比之下，Annoy 的基于树的方法使用的内存更少，但会牺牲查询速度。对于十亿级数据集，混合方法（例如，将粗略聚类与基于图的遍历相结合）通常效果最佳。 Microsoft 的 SPANN 系统专为 1000 亿+ 向量设计，使用分布式分片和混合索引在节点之间分割数据，同时最大限度地减少跨节点通信。 该案例研究强调了分布式系统中水平扩展和容错的重要性，以及优化查询期间网络开销的需求。
这些研究的最佳实践包括优先考虑内存效率（通过量化）、根据数据特征选择索引方法以及利用硬件加速。例如，使用像 FAISS 或 RAFT 这样经过 GPU 优化的库可以大大加快操作速度。 将数据划分为集群或分片可以缩小搜索范围，而缓存频繁查询可以提高延迟。 此外，近似最近邻 (ANN) 技术以牺牲完美精度来换取可扩展性，这在推荐系统等实际应用中通常是可以接受的。 开发人员还应该分析他们的工作负载以识别瓶颈（例如，磁盘 I/O 或网络延迟），并测试多种算法（例如，HNSW 与 IVF）以找到其用例的最佳平衡。