指令调优的多模态模型是一种机器学习系统，它经过训练可以处理和理解多种类型的数据，例如文本、图像或音频，同时还经过优化以遵循特定的用户指令。 这些模型通常通过在包含显式面向任务的提示的数据集上微调基础多模态架构（例如 CLIP 或 Flamingo）来构建，例如“描述此图像”或“查找与此照片相似的产品”。 多模态输入处理和基于指令的训练的结合使它们能够解释涉及交叉引用不同数据格式的复杂查询。 例如，它们可以分析用户的文本查询和上传的图像以生成相关的响应，这使得它们高度适应各种搜索场景。
这些模型通过启用更细致和上下文感知的检索来改进搜索。 传统的搜索引擎严重依赖关键字匹配或基于文本的嵌入，这在处理模糊查询或多模态输入时会遇到困难。 然而，指令调优的模型可以处理分层请求，例如“使用这张照片中的成分找到一个食谱”，方法是从图像中提取视觉特征（例如，蔬菜、香料）并将它们映射到食谱文本。 它们通过在训练期间对齐跨模态的嵌入（数据的数字表示）来实现这一点。 例如，CLIP（对比语言-图像预训练）将图像和文本映射到共享的嵌入空间中，即使图像元数据缺少那些确切的关键字，也允许像“红色运动鞋”这样的文本查询检索鞋子的图像。 指令调优进一步完善了这种能力，教会模型优先处理特定任务，例如当用户在其查询中添加“低于 50 美元”时按价格或款式过滤结果。
一个实际的例子是电子商务搜索：用户可能会上传一件条纹衬衫的照片并询问，“查找具有相似图案的正式衬衫。” 该模型识别视觉图案（条纹），解释文本限定符（“正式”），并交叉引用产品数据库以返回相关项目。 开发人员可以通过 API（如 OpenAI 的 GPT-4V 或 Google 的 Vertex AI）或开源框架（Hugging Face 的 Transformers）集成此类模型，从而减少对单独的图像和文本处理管道的需求。 这种统一的方法简化了架构，同时提高了准确性，因为该模型利用两种模式来消除歧义。 例如，搜索与水果图像配对的“苹果”将优先考虑农产品而非电子产品。 通过在一个系统中处理多模态输入和明确的指令，这些模型使搜索对于用户和开发人员来说都更加直观和高效。