多模态向量数据库是一种系统，旨在利用向量嵌入技术存储、索引和检索来自多种模态的数据——例如文本、图像、音频或视频。与依赖于精确关键词匹配或结构化元数据的传统数据库不同，这类数据库将非结构化数据转换为捕获语义意义的数值向量（数字数组）。这使得开发者能够在不同数据类型之间执行相似性搜索。例如，用户可以通过比较文本和图像的向量表示，搜索与文本查询“山间日落”相似的图像。
这类数据库通过使用机器学习模型为每种数据类型生成嵌入向量来工作。例如，BERT 这样的文本嵌入模型将句子转换为向量，而 CLIP 这样的视觉模型对图像做同样的处理。向量被存储在数据库中，并使用针对快速相似性比较优化的算法（如近似最近邻（ANN）搜索）进行索引。当发出查询时——无论是文本、图像还是其他格式——数据库将其转换为向量，并从存储的嵌入向量中检索最接近的匹配项。这个过程通过使用余弦相似度等指标测量向量相似性，实现了跨模态检索，例如根据文本输入查找相关的图像，反之亦然。
实际应用包括推荐系统、内容审核和多媒体搜索。例如，一个电子商务平台可以使用多模态数据库，让用户结合文本描述和上传的图片搜索商品。一个内容审核系统可以交叉引用上传的图片与禁止的文本短语，以检测违规行为。FAISS、Milvus 或 Pinecone 等工具常用于实现这类系统，通常与 CLIP 或 Sentence-BERT 等预训练模型配合使用以生成嵌入向量。其主要优势在于灵活性：开发者可以在不完全依赖手动标记或 rigid schema 的情况下统一跨不同数据类型的搜索。