多模态AI中的跨模态表征指的是共享或对齐的数据结构，允许不同类型的输入（例如文本、图像、音频）以统一的方式进行处理和理解。这些表征使AI系统能够关联不同模态的信息，例如将口语单词与视觉对象联系起来，或将文本描述与相应的图像联系起来。目标是创建一个共同的“空间”，让来自不同来源的数据能够交互，从而使模型更容易执行需要跨多种输入类型进行推理的任务，例如为图像生成字幕或回答有关视频的问题。
为了构建跨模态表征，模型通常使用神经网络将每种模态编码到共享的嵌入空间中。例如，视觉-语言模型可能会使用卷积神经网络（CNN）处理图像，使用基于 Transformer 的模型处理文本。然后将这两种输出映射到同一维度空间中的向量，从而使模型能够衡量模态之间的相似性。训练通常涉及对比学习，模型通过最小化数据对（例如图像及其标题）的嵌入距离，同时推远不相关的对，来学习对齐数据。一个实际例子是 OpenAI 的 CLIP，它通过在数百万对图像-文本对上进行训练来对齐文本和图像，从而能够使用文本提示执行零样本图像分类等任务。
挑战包括处理数据结构不匹配（例如，将视频的时间序列与静态文本对齐）以及确保对真实世界数据中的噪声具有鲁棒性。应用范围从多模态搜索引擎（通过文本查询查找图像）到辅助技术（为视障用户描述场景）。例如，使用跨模态表征的视频字幕系统可能会分析视觉帧和音轨，以生成准确、上下文相关的描述。开发者可以利用 PyTorch 或 TensorFlow 等框架以及预训练模型（例如 CLIP、ViLBERT）来实现这些技术，尽管针对特定领域的微调通常需要精心策划的数据集和针对任务量身定制的对齐策略。
