向量数据库中的索引是如何工作的 向量数据库使用索引技术来高效地搜索高维数据，从而平衡速度和准确性。常见的方法包括倒排文件（IVF）、分层可导航小世界（HNSW）和乘积量化（PQ）。这些方法将向量组织成结构，从而减少查询期间所需的比较次数，避免对整个数据集进行暴力搜索。每种方法都针对特定的权衡进行优化，例如查询速度、内存使用或准确性。
倒排文件 (IVF) IVF 使用 k-means 等算法将向量划分为聚类。每个聚类都有一个质心，在索引期间，向量会按其最近的质心进行分组。当发生查询时，系统会识别出最近的质心，并仅在这些聚类中进行搜索。例如，如果一个数据集有 100 万个向量，分为 1,000 个聚类，则查询可能会检查 10 个聚类（占数据的 1%），从而大大减少计算量。IVF 适用于大型数据集，但需要进行预训练以定义聚类。缺点是准确性取决于聚类质量——定义不佳的聚类可能会遗漏相关的向量。FAISS 等库使用 IVF 并进行额外的优化，例如将其与 PQ 结合使用以实现压缩存储。
分层可导航小世界 (HNSW) HNSW 构建一个分层图，其中每一层都是前一层的子集，顶层稀疏，底层密集。在查询期间，搜索从顶层开始，导航到附近的节点，然后在较低层中细化路径。这种层次结构模仿了数据库中的跳跃列表，从而实现快速的近似搜索。例如，在 10 层的 HNSW 索引中，查询可能遍历顶层的 5 个节点，然后遍历中间层的 20 个节点，最后遍历底层的 50 个节点——远少于检查所有向量。HNSW 在查询速度和召回率方面表现出色，但由于图形存储而使用更多内存。它被广泛用于 Annoy 等库中，非常适合需要低延迟响应的应用程序，例如推荐系统。
乘积量化 (PQ) PQ 将向量压缩为更小的代码，以减少内存使用并加快距离计算。它将向量拆分为子向量（例如，将 128 维向量划分为 8 个 16 维子向量）。每个子向量都映射到质心的“代码本”，原始向量由一系列质心 ID 表示。在查询期间，使用子向量-质心对的预计算查找表来近似距离。例如，与存储原始浮点数相比，压缩为 8 字节（每个子向量一个字节）的 128D 向量可减少 16 倍的内存。PQ 通常与 IVF (IVF-PQ) 结合使用，以首先缩小搜索空间，然后使用压缩向量进行比较。这种混合方法在图像检索等大规模系统中很常见，在这些系统中，存储和速度至关重要。然而，PQ 由于压缩会牺牲一些准确性，因此不太适合高精度任务。