降低存储向量的精度——例如，使用 8 位整数 (int8) 或 16 位浮点数 (float16) 代替 32 位浮点数 (float32)——在存储效率、计算性能和检索准确性之间存在权衡。 这种方法在机器学习和数据库系统中很常见，用于优化资源使用，但需要仔细考虑应用程序的需求。
主要优点是减少了存储和内存使用。 例如，用 float16 替换 float32 可以将内存需求减少一半，而使用 int8 可以减少 75%。 这对于大型系统（如推荐引擎或存储数十亿向量的向量数据库）至关重要。 较小的数据大小还可以提高缓存利用率并减少检索期间的 I/O 瓶颈。 例如，具有 100 万个 float32 向量（每个 512 维）的向量数据库需要大约 2 GB 的内存，但使用 float16 会将其减少到 1 GB，从而实现更快的加载和查询。 同样，传输压缩向量时，网络带宽也会提高，这在分布式系统中很有价值。 Facebook 的 FAISS 或 NVIDIA 的 Tensor Cores 等工具利用较低的精度来加速最近邻搜索等操作。
但是，较低的精度会带来信息丢失和检索质量下降的风险。 Float16 和 int8 的动态范围和粒度比 float32 小，这可能会扭曲向量距离。 例如，在语义搜索中，如果量化截断了有意义的十进制值，则嵌入之间的细微差异（例如，“汽车”与“车辆”）可能会丢失。 对于高维向量或需要细粒度相似性的应用程序（例如，医学成像），这尤其成问题。 此外，如果向量在量化后未正确归一化，某些算法（例如，余弦相似度）可能会产生不准确的结果。 标量量化（通过缩放将 float32 映射到 int8）等技术可以缓解这种情况，但会增加编码和解码期间的计算开销。
该决定取决于用例。 对于优先考虑速度和可扩展性的应用程序（例如，实时推荐或批量处理），较低的精度通常是可以接受的。 例如，YouTube 的推荐系统使用压缩嵌入来高效地为数百万用户提供服务。 相反，科学建模或高精度检索系统等任务可能需要 float32 以保持保真度。 开发人员应使用降低的精度来验证质量指标（例如，召回率@k），并考虑混合方法，例如以 int8 存储向量，但以 float32 计算距离。 PyTorch 和 TensorFlow 等库支持混合精度训练和推理，从而提供灵活性。 使用真实世界的数据进行测试对于有效地平衡权衡至关重要。