深度学习通过使系统能够理解和比较视觉内容，从而驱动图像搜索，这是传统方法无法实现的。 从本质上讲，诸如卷积神经网络（CNN）之类的深度学习模型通过将图像分解为分层模式（边缘、纹理、形状和对象），并将这些模式转换为称为嵌入的数字表示形式来分析图像。 这些嵌入充当图像的唯一指纹，捕捉其视觉本质。 当您搜索图像时，系统会比较这些嵌入（使用余弦距离之类的相似性度量）以查找视觉或语义相关的结果，即使像素级细节不同。 例如，在产品图像上训练的 CNN 可以通过关注纹理和形状而不仅仅是颜色来区分“黑色运动鞋”和“棕色靴子”。
为了实现这一点，模型在大量带标签的数据集（例如，ImageNet）上进行训练，以识别通用特征，然后针对特定任务进行微调。 例如，电子商务平台可能会在其自己的产品目录上重新训练预训练的 CNN，以提高与时尚相关的搜索的准确性。 此过程允许模型适应特定领域的细节，例如区分服装款式中的细微差异。 此外，诸如三重损失之类的技术通过确保相似的图像（例如，来自不同角度的同一地标的照片）在向量空间中更紧密地聚集在一起，从而有助于改进嵌入。 此训练管道将原始像素转换为搜索算法可以有效处理的结构化数据。
除了基本检索之外，深度学习还实现了高级功能。 例如，诸如 CLIP（对比语言-图像预训练）之类的多模态模型将文本和图像链接起来，从而允许基于文本的查询（例如，“山上的日落”）通过对齐语言和视觉嵌入来匹配相关图像。 诸如 YOLO 或 Faster R-CNN 之类的对象检测模型也可以定位图像中的特定元素，从而可以搜索复合场景（例如，“停在建筑物附近的汽车”）。 这些技术使图像搜索系统更加灵活和准确，因为它们结合了对对象、上下文甚至抽象概念的识别，所有这些都由学习的表示形式而不是硬性规则驱动。
