多模态 AI 结合多种数据类型——如文本、图像、音频或传感器数据——来构建能够理解和生成跨模态输出的模型。当与无监督学习结合使用时，这些系统在原始、未标记的数据中学习模式和关系，而不依赖于预定义的人工标注。其核心思想是利用多模态数据的内在结构来发现跨模态相关性或共享表示。例如，一个模型可能会分析未标记的视频片段（具有同步的音频和视觉数据），以学习某些声音对应于特定的视觉事件，例如狗叫声与狗的图像相匹配。
一种常见的方法是使用自监督或对比学习技术。在自监督设置中，模型从数据本身创建伪标签。例如，一个多模态模型可以处理来自网络的配对图像-文本数据（如社交媒体帖子），并通过基于图像预测屏蔽词或反之亦然，来学习将视觉特征与相应的文本描述对齐。对比学习，用于像 CLIP 这样的模型中，训练模型将相关模态的嵌入（例如，图像及其标题）在共享潜在空间中拉得更近，同时将不相关的对推开。这不需要明确的标签——只需要配对数据（例如，图像及其替代文本）在语义上相关的假设。 Transformer 或交叉注意力机制通常处理模态融合，使模型能够动态地加权和组合特征。
挑战包括对齐具有不同结构的模态（例如，顺序文本与网格状图像）和处理未经策划的数据中的噪声。例如，训练未标记的视频数据可能涉及不相关的视听对（例如，与场景无关的背景音乐）。开发人员可以通过设计特定于模态的预处理（如音频的声谱图）或使用掩码策略来关注相关的数据段来缓解这种情况。像 TensorFlow 或 PyTorch 这样的工具简化了自定义架构的实验，例如用于跨模态检索的双编码器模型。应用范围从生成图像字幕到改善机器人感知——机器人通过将摄像机输入与交互期间未标记的运动传感器数据相关联来学习物体的可供性（例如，“杯子”与“碗”）。
