近年来，多模态少样本学习取得了显著进展，重点是那些能够从多种数据类型（如文本、图像和音频）中学习，并且只需要极少量训练样本的模型。一个关键的进展是将预训练的基础模型与模块化组件集成，从而有效地适应新的任务。例如，像 CLIP（对比语言-图像预训练）和 Flamingo 这样的模型已经证明了在预训练期间对齐文本和图像嵌入如何实现零样本或少样本泛化。这些模型使用对比学习将跨模态的相似概念映射到共享的潜在空间中，从而使它们仅通过少量标记示例就能识别新的类别。研究人员通过添加轻量级适配器（插入到预训练模型中的小型神经模块）来扩展这一想法，以微调特定任务，而无需重新训练整个网络，从而降低了计算成本并保留了通用知识。
另一个进展领域涉及通过架构创新来改进跨模态推理。像 Meta 的 FLAVA 和 OpenAI 的 GPT-4V (Vision) 这样的模型现在都集成了跨注意力机制，可以动态地融合来自不同模态的信息。例如，在视觉问答中，模型可以同时处理图像和文本查询，使用注意力层将视觉特征（例如，照片中的对象）链接到文本概念（例如，“汽车是什么颜色？”）。即使在有限的训练数据下，这种方法也能奏效，因为预训练的组件已经理解了模态之间的关系。此外，诸如提示工程之类的技术已被用于多模态任务：开发者不是调整模型权重，而是构建输入提示（例如，将图像与诸如“这是[类别]的照片”之类的文本模板相结合）来指导模型的预测。这种方法在少样本设置中非常有效，正如在 Google 的 PaLI-X 中所见，它使用提示来统一视觉-语言任务。
最后，研究人员正在通过创建合成训练示例或利用未标记的数据来解决数据效率问题。例如，扩散模型可以生成与文本描述配对的逼真图像，从而扩充稀缺的标记数据集。微软的 LLaVA 和类似的框架使用自监督学习在网络规模的图像-文本对上进行预训练，然后在小型标记数据集上进行微调，以用于诸如医学图像分析之类的任务。另一个趋势是元学习，其中模型通过在预训练期间模拟少样本场景来训练以快速适应新任务。一个值得注意的例子是 DeepMind 的 Perceiver，它使用共享的 Transformer 架构来处理各种输入，并以最少的特定于任务的数据在不同模态之间进行泛化。这些进展共同减少了对大型标记数据集的依赖，从而使多模态 AI 更容易用于内容审核、机器人技术或个性化助手等应用，在这些应用中，标记示例稀缺或获取成本高昂。