在多模态搜索的上下文中，分层嵌入指的是将数据组织成多个抽象级别的结构化向量表示。 这些嵌入通过将相似的概念分组到较高的级别，并将细粒度的细节分组到较低的级别，从而能够跨不同数据类型（如文本、图像和音频）进行高效而准确的搜索。 例如，图像的分层嵌入可以首先将其广泛地表示为“动物”，然后是“狗”，最后是“金毛寻回犬”。 这种分层方法允许搜索系统从一般到特定进行导航，从而减少计算开销并提高跨模态查询的相关性。
为了构建分层嵌入，通常通过聚类或分区方法处理数据，这些方法在每个级别对相似的向量进行分组。 在多模态场景中，这可能涉及为每种数据类型训练单独的嵌入模型（例如，使用 CLIP 用于文本-图像对），然后对齐它们的层次结构。 例如，像“红色跑车”这样的文本查询可以映射到图像嵌入中的高级别“车辆”群集，然后向下钻取到“汽车”、“跑车”，最后按颜色进行过滤。 这种结构允许系统避免将查询与平面数据集中的每个可能的向量进行比较，这在计算上是昂贵的。 相反，它会遍历层次结构，在每个步骤中缩小搜索空间。 向量数据库（例如，FAIR 的 FAISS）中的分层可导航小世界 (HNSW) 图或基于树的索引等工具通常会在底层实现此逻辑。
分层嵌入在实际应用中的一个例子是处理产品图像和描述的零售搜索系统。 当用户搜索“黑色皮革背包”时，系统可能会首先识别图像和文本嵌入中的“包”类别，然后关注“背包”，最后应用材质和颜色的过滤器。 与扁平嵌入相比，这种方法提高了速度和准确性，扁平嵌入平等地对待所有特征，并且可能错过上下文关系。 然而，设计有效的层次结构需要仔细调整——例如，确定级别的深度或确保模态之间的对齐——以避免不匹配（例如，文本层次结构无法干净地映射到图像集群）。 尽管存在这些挑战，但分层嵌入是扩展多模态搜索系统的强大工具，尤其是在处理大型、多样化的数据集时。