信息检索 (IR) 中的多模态检索是指使用多种类型的数据（例如文本、图像、音频或视频）来搜索和检索信息的系统。 与传统的 IR（通常侧重于纯文本查询和文档）不同，多模态检索结合了不同的数据模态，以提高搜索准确性或启用新的用例。 例如，用户可以通过上传图像并添加文本描述来搜索产品，系统将返回与视觉和文本线索都匹配的结果。 这种方法利用每种数据类型的优势（例如文本的特异性和图像的丰富性）来解决单模态系统的局限性。
为了实现多模态检索，开发人员通常设计将不同数据类型转换为共享表示空间的系统。 例如，可以使用神经网络将文本和图像嵌入到数值向量中，从而可以跨模态进行比较。 一种常见的技术是训练诸如 CLIP（对比语言-图像预训练）之类的模型，该模型通过将文本和图像映射到相似概念紧密相邻的向量来学习对齐文本和图像。 当用户提交查询（例如，图像）时，系统会将其编码为向量，并搜索其他模态（例如，产品描述）的预先计算的向量数据库，以找到最接近的匹配项。 挑战包括确保模态之间的一致性以及处理计算成本，尤其是在大型数据集的情况下。
多模态检索的实际应用包括用户使用照片搜索的电子商务平台（例如，查找相似的服装），交叉引用影像数据与患者记录的医疗系统，或处理口头查询和屏幕内容的语音助手。 对于开发人员而言，构建此类系统通常涉及使用 TensorFlow 或 PyTorch 之类的框架进行模型训练，使用 FAISS 之类的库进行高效的向量搜索，以及使用 API 进行数据预处理（例如，调整图像大小或转录音频）。 评估性能需要诸如 recall@k（相关结果出现在前 k 个匹配项中的频率）之类的指标以及用于组合来自不同模态的分数的的多模态融合技术。 关键是在准确性、速度和可扩展性之间取得平衡，同时保持数据类型之间的互操作性。