嵌入被存储在向量索引中，使用的是专门设计用于高效处理高维向量的数据结构。当你生成一个嵌入——即文本、图像或音频等数据的数值表示时——它通常是一个由浮点数组成的密集数组（例如，768 或 1536 维）。向量索引以一种能够快速执行相似度搜索的方式组织这些嵌入，例如基于余弦相似度或欧几里得距离查找最近邻。与未针对高维向量操作进行优化的传统数据库不同，向量索引使用层次导航小世界 (HNSW)、倒排文件 (IVF) 结构或基于树的方法等算法来高效地划分和搜索数据。
例如，HNSW 创建一个分层图，其中每一层代表数据的子集，更高层包含更少的节点。这使得算法在搜索时可以通过从顶层开始向下移动来快速遍历图。另一种方法是 IVF，它使用 K-means 等技术将嵌入聚类分组，创建一个倒排索引，将簇映射到其成员向量。在搜索期间，索引首先识别最相关的簇，然后仅将查询向量与这些簇内的向量进行比较。FAISS (Facebook AI Similarity Search) 或 Annoy (Approximate Nearest Neighbors Oh Yeah) 等工具实现了这些方法，使开发者可以根据自身需求权衡搜索速度、准确性和内存使用。
为了优化存储和性能，向量索引通常采用量化或压缩等技术。例如，乘积量化将高维向量分割成更小的子向量，并用预计算码本中的代码替换每个子向量，从而减少内存使用。一些系统还使用分片将向量分布到多台机器上，实现横向扩展。然而，这些优化也会带来权衡：积极的压缩可能会降低搜索准确性，而分片则增加了查询路由的复杂性。开发者必须选择适合其应用需求的索引类型和配置——例如实时搜索延迟、可扩展性或精度——并针对其特定数据集进行测试，以确保性能均衡。