视觉-语言模型（VLM）通过学习一个共享表示空间来实现图文搜索，在该空间中可以直接比较图像和文本。这些模型经过训练以对齐视觉和文本数据，从而能够将图像和文本映射到捕捉其语义含义的嵌入（数值向量）中。例如，一张在公园里玩耍的狗的图片和文字“一只金毛猎犬在草地上奔跑”将被编码成在该共享空间中彼此接近的向量。当用户搜索文本或图像时，模型将查询转换为嵌入，并通过测量向量相似度（例如，使用余弦距离）从数据集中检索最匹配的结果。这种方法绕过了传统的基于关键词的方法，后者难以处理图像和文本之间的抽象或上下文关系。
像 CLIP（对比语言-图像预训练）这样的 VLM 使用双编码器——一个用于图像，一个用于文本——在大型图文对数据集上同时进行训练。图像编码器（通常是 CNN 或 Vision Transformer）将像素处理成嵌入，而文本编码器（transformer）对句子做同样的处理。在训练过程中，模型学习最小化匹配图文对嵌入之间的距离，并最大化不匹配对之间的距离。例如，如果在训练中使用一张日落照片配对“充满活力的傍晚天空”的标题，模型会确保它们的嵌入对齐。这种对比学习实现了跨模态检索：搜索“红色自行车”可以返回红色自行车的图片，即使它们的元数据中没有精确的关键词，因为模型从视觉特征和文本上下文中推断出语义。
开发人员可以通过 API 或 Hugging Face Transformers 等库使用预训练的 VLM 实现图文搜索。例如，使用 CLIP，您可以离线将产品图片数据库编码成嵌入。在查询时，用户的文本搜索（例如，“防水徒步靴”）被编码，系统检索与文本嵌入最接近的 top-k 图像向量。在特定领域数据（例如，带有详细报告的医学图像）上进行微调可以提高专业用例的准确性。然而，可扩展性需要高效的向量索引（例如，FAISS）来处理大型数据集。挑战包括编码的计算成本以及需要多样化的训练数据以减少偏差。通过利用 VLM，开发人员可以构建理解视觉和语言之间细微联系的搜索系统，从而增强电子商务或内容审核等应用。