解释性多模态搜索技术旨在使结合文本、图像、音频和其他数据类型的搜索系统更加透明。 这些方法可以帮助用户了解为何返回某些结果，这对于调试和建立信任至关重要。 以下是开发者可以使用的三种关键方法，以在多模态系统中实现可解释性。
注意力机制和特征可视化是突出显示多模态输入中哪些部分会影响搜索结果的基础。 例如，在处理图像和文本的系统中，注意力层可以显示模型在检索结果时“关注”图像的哪些区域或查询中的哪些词。 诸如 Grad-CAM（梯度加权类激活映射）之类的工具会生成热图来可视化这些注意力模式。 假设用户搜索“红色鞋子”，系统返回了一张运动鞋的图像。 热图可以揭示模型是优先考虑了鞋子的颜色、形状还是无关的背景元素。 同样，对于文本查询，注意力分数可以表明哪些关键字对结果的影响最大。 这些可视化使诊断不匹配更容易 - 就像模型过度强调元数据标签而不是视觉特征一样。
跨模态对齐分析解释了不同数据类型如何在共享嵌入空间中相关。 诸如 CLIP（对比语言-图像预训练）之类的模型将文本和图像映射到同一向量空间，从而实现跨模态搜索。 为了解释结果，开发者可以计算查询嵌入（例如，文本提示）和检索到的项目（例如，图像）之间的相似度得分。 例如，如果用户搜索“快乐的狗”并获得一张摇尾巴的拉布拉多的照片，则解释可能会显示文本的“快乐”向量与图像中狗的姿势之间的高度相似性。 诸如嵌入投影仪（例如，TensorFlow 的 Projector）之类的工具使开发者可以可视化这些关系，从而揭示聚类或异常值。 这种方法还有助于识别偏差 - 就像模型将“办公室”更多地与室内场景而不是混合在家办公图像联系起来一样。
基于规则的或混合系统将神经网络与显式逻辑相结合，以提供人类可读的解释。 例如，多模态搜索系统可以使用神经模型对结果进行排名，但应用预定义的规则来过滤或优先处理某些属性。 假设用户搜索“经济实惠的电动汽车”，并且系统显示价格标签低的车辆结果。 解释可以列出价格过滤器阈值并突出显示图像中检测到的汽车类型（例如，“特斯拉 Model 3”与“现代 Kona”）。 诸如神经符号 AI 之类的混合框架将神经特征提取与符号推理（例如，知识图谱）配对，以生成逐步的原理。 例如，旅行搜索工具可以通过说明“选择此酒店是因为它具有 4.5 星评级（文本数据）并且在用户上传的照片（视觉数据）中可以在海滩附近看到”来解释推荐。
通过结合这些技术，开发者可以构建既有效又可解释的多模态搜索系统。 注意力图和对齐分析提供了对模型行为的低级见解，而混合系统弥合了神经网络和可操作解释之间的差距。 在设计中优先考虑透明度有助于用户和开发者理解并改善多模态搜索结果。