通过集成处理和组合不同数据类型（文本、图像、音频等）到统一向量空间的技术，向量搜索正在不断发展以处理多模态查询。传统上，向量搜索处理的是单模态嵌入——比如文本或图像——但多模态支持需要将多种输入映射到共享空间的模型。例如，像 CLIP (Contrastive Language-Image Pretraining) 这样的模型将文本和图像编码到同一个向量空间，从而允许文本查询检索相关的图像，反之亦然。这种方法使得系统能够理解模态之间的关系，例如将“狗”这个词与狗的图像或吠叫的音频片段相关联。开发者现在可以构建应用程序，用户可以使用草图、语音备忘录和文本描述的组合进行搜索，系统会返回各种格式的结果。
从技术上讲，这涉及嵌入模型、索引和查询处理方面的进步。训练跨模态神经网络以对齐不同数据类型的表示，通常使用对比学习来确保相似的概念聚集在一起。例如，一个模型可能会学习到文本“日落”、日落照片和海浪音频片段的向量应该在向量空间中彼此靠近。像分层可导航小世界 (HNSW) 或近似最近邻 (ANN) 库（例如 FAISS）这样的索引结构经过调整，可以有效地处理高维多模态向量。像 Elasticsearch 或 Milvus 这样的数据库现在支持混合搜索，它结合了多个向量字段（例如，文本和图像嵌入的独立索引），并使用评分机制融合结果。这允许像“查找与此图像相似且描述为‘防水’的产品”这样的查询，方法是同时搜索图像和文本索引。
现实世界的用例正在电子商务、医疗保健和媒体等领域涌现。例如，一个零售应用程序可能允许用户拍摄一件服装的照片，添加像“低于 50 美元”这样的文本过滤器，并通过联合搜索图像和价格向量来检索匹配的产品。仍然存在挑战，例如确保模态之间的对齐质量和管理计算成本。训练跨模态模型需要大量的、标记的数据集，并且索引多模态向量会增加内存和延迟。然而，像 TensorFlow Similarity 和 PyTorch Lightning 这样的框架正在简化实现，而云服务（例如 AWS Kendra、Google Vertex AI）提供预构建的多模态搜索 API。随着这些工具的成熟，开发者可以减少对基础设施的关注，而更多地关注设计直观的查询界面，从而自然地为用户融合模态。