处理多模态搜索中超出分布 (OOD) 的查询涉及检测与系统训练数据显著不同的输入，并调整响应以保持可靠性。多模态系统处理文本、图像、音频或其他数据类型的组合，因此 OOD 检测必须考虑单个模态或其交互中的不匹配。例如，用户可能会上传医学扫描图像，并附带有关汽车零件的文本查询——这是系统未设计处理的场景。为了解决这个问题，开发人员通常会实现置信度评分、跨模态一致性检查或专用的 OOD 检测模型。视觉模型可以通过将其嵌入与已知集群进行比较来标记异常图像，而文本组件可以识别罕见的关键字或语法。组合这些信号有助于确定输入是否超出系统的操作范围。
一旦检测到 OOD 查询，系统就需要一种策略来避免不可靠的结果。一种方法是返回回退响应，例如澄清查询的意图或将用户重定向到替代资源。例如，如果用户使用抽象绘画的模糊照片搜索“识别这种植物”，系统可能会响应“这看起来不像植物 - 您能分享一张更清晰的图像吗？” 另一种方法是优先考虑最可靠的模态。如果文本和图像输入冲突（例如，使用红色鞋子的照片搜索“蓝色运动鞋”），如果图像分类器的置信度较低，系统可能会将文本排名更高。混合方法，例如在神经检索失败时使用基于关键字的搜索作为备份，也有效。这些策略需要仔细调整，以平衡用户体验和技术限制。
提高对 OOD 数据的鲁棒性始于系统设计阶段。在多样化、嘈杂的数据集上训练多模态模型有助于它们更好地泛化。例如，使用合成的异常值（例如，不匹配的字幕）扩充图像-文本对，可以教会模型处理不一致性。基于嵌入的技术，例如使用对比学习（例如，CLIP）来对齐模态，可以提高跨模态匹配并减少 OOD 错误。生产中的定期监控也很重要：记录低置信度预测和用户反馈有助于识别差距。如果用户经常使用系统不支持的 CAD 文件查询“3D 打印机设计”，团队可以更新模型或添加专用解析器。通过结合主动检测、优雅降级和迭代改进，开发人员可以构建处理 OOD 查询的多模态系统，而不会影响核心功能。