多模态嵌入的量化技术旨在减少内存使用和计算成本，同时保持组合的文本、图像或音频表示的质量。 三种有效的方法包括标量量化、乘积量化和二值量化。每种方法都在压缩比、推理速度和准确性之间进行权衡，使其适用于多模态应用中的不同场景。
标量量化 降低了嵌入值的精度（例如，从 32 位浮点数到 8 位整数），在所有维度上保持一致。 这种方法易于实现，并且在嵌入具有均匀的值分布时效果良好。 例如，CLIP 嵌入（对齐文本和图像）通常可以容忍 8 位量化，而精度损失最小，如 Flickr30K 检索任务等基准测试所示。 像 PyTorch 的 quantize 模块这样的库通过缩放和舍入值简化了这一过程。 但是，标量量化在处理具有异常值或高度偏斜分布的嵌入时会遇到困难，因为压缩极端值可能会扭曲相似性得分。
乘积量化 (PQ) 将高维嵌入划分为子向量并分别进行量化，从而实现更高的压缩比。 这对于需要高效最近邻搜索的多模态系统尤其有用，例如结合用户文本查询和产品图像的推荐引擎。 例如，Facebook 的 FAISS 库使用 PQ 来压缩十亿级多模态数据集，从而实现实时检索。 通过为每个子向量训练单独的代码本，PQ 比标量方法更有效地保留了模态之间更细微的关系。 但是，PQ 在训练和推理期间增加了复杂性，因为它需要在搜索期间维护代码本并重建向量。
二值量化（例如，将嵌入二值化为 0/1 值）通过按位运算提供极高的压缩和超快的相似度计算。 这最适用于优先考虑速度和内存节省而不是精确准确性的应用程序，例如移动应用中的设备上多模态搜索。 例如，OpenAI 的 CLIP 嵌入的二进制版本可以将内存使用量减少 32 倍，同时保留约 80% 的检索精度。 但是，二值化方法存在信息丢失的风险，特别是对于捕获细微跨模态关系的嵌入。 混合方法（例如，使用二进制代码进行粗略检索，然后使用更高精度的重新排序）可以缓解这种情况。
选择技术时，请考虑使用场景：标量量化适合平衡的值分布，PQ 在高压缩检索系统中表现出色，而二值化方法则优先考虑速度。 像 TensorFlow Lite（用于标量）和 FAISS（用于 PQ）这样的工具提供了现成的实现。 使用特定领域的基准测试（例如，跨模态检索指标）测试量化后的准确性对于验证性能权衡至关重要。