视觉语言模型 (VLM) 是一种机器学习模型，旨在处理和理解视觉（图像、视频）和文本数据。它们结合了计算机视觉和自然语言处理 (NLP) 的技术，以创建图像和文本的共享表示，从而实现需要跨模态推理的任务。例如，VLM 可以分析海滩日落的图像并生成诸如“平静的海浪上充满活力的日落”之类的标题，或者回答有关图像的问题，例如“照片中是否有人？” 像 CLIP（对比语言-图像预训练）和 Flamingo 这样的模型是流行的 VLM，它们将图像和文本对齐在共享的嵌入空间中。这些模型在大型图像-文本对数据集上进行训练，学习将视觉特征与相应的文本描述相关联。
在多模态搜索中，VLM 允许用户使用任何模态的查询来搜索不同的数据类型。 例如，您可以使用文本提示搜索图像（“查找狗在雪地里玩耍的照片”）或根据上传的图像检索文本描述。 这是通过将查询（文本或图像）和可搜索内容（图像、视频、文本）嵌入到相同的向量空间中来实现的。 当用户提交查询时，系统会计算查询的嵌入与索引数据之间的相似度得分（例如，使用余弦相似度）。 一个实际的例子是电子商务产品搜索：用户可以上传椅子的照片，并在目录中找到类似的项目，即使这些产品缺少文本标签。 另一个用例是内容审核，其中 VLM 可以通过将视觉内容与禁止的关键字或上下文描述进行交叉引用来检测不适当的图像或视频。
在多模态搜索中实现 VLM 的开发人员通常通过 API（例如，OpenAI 的 CLIP API）或像 Hugging Face Transformers 这样的开源库使用预训练模型。 自定义可能涉及在特定领域的数据上微调模型——例如，在医学成像数据集上训练 VLM 以实现诸如“显示肺结节的 CT 扫描”之类的搜索。 挑战包括计算成本（VLM 需要 GPU 才能大规模推理）和确保对齐质量——训练不良的模型可能会错误地对齐概念，例如将“苹果”水果与“Apple”品牌混淆。 尽管存在这些障碍，VLM 提供了用于统一跨模态搜索的灵活解决方案，使其对于从推荐系统到辅助工具（例如，自动生成图像的替代文本）等应用非常有价值。 它们连接视觉和语言的能力为更直观、上下文感知的搜索体验打开了大门。