图像搜索中的跨模态检索是指使用来自不同数据模态（如文本、音频，甚至另一张图像）的查询来查找相关图像的过程。 与传统的图像搜索（通常依赖于元数据标签或图像之间的相似性）不同，跨模态检索弥合了不同数据类型之间的差距。 例如，用户可以输入文本描述，如“停在咖啡馆附近的红色自行车”，系统会检索与该描述匹配的图像，即使这些图像缺少显式的元数据标签。 这要求系统理解和对齐跨模态的语义概念，从而实现灵活直观的搜索体验。
为了实现这一点，跨模态系统将来自不同模态的数据映射到一个共享的嵌入空间——一种数值表示，其中相似的概念（例如，文本中的“红色自行车”和红色自行车的图像）彼此靠近放置。 神经网络，例如对比学习模型，在配对数据集（例如，带有标题的图像）上进行训练，以学习这些嵌入。 例如，像 CLIP（对比语言-图像预训练）这样的模型使用配对的文本-图像数据来对齐视觉和文本特征。 在训练期间，该模型优化匹配对（例如，狗的图像及其标题）之间的相似性，同时最小化不匹配对的相似性。 这允许文本查询通过比较它们在共享空间中的嵌入来检索图像，即使它们从未在训练数据中显式链接。
实际应用包括电子商务（使用自然语言搜索产品）、医学成像（将放射学报告链接到相关扫描）和内容审核（根据文本指南标记图像）。 挑战包括处理具有弱或噪声配对的数据（例如，松散相关的图像-文本对）、扩展到大型数据集以及确保跨不同查询类型的鲁棒性。 开发人员通常使用 TensorFlow 或 PyTorch 等框架来实现这些模型，利用文本（例如，BERT）和图像（例如，ResNet）的预训练编码器。 诸如 recall@k（相关结果在顶部 k 个匹配项中出现的频率）或平均精度均值 (mAP) 等评估指标有助于量化性能。 平衡准确性、速度和计算成本仍然是关键，尤其是在实时系统中。
