跨模态嵌入正通过更好地将文本、图像和音频等不同模态的数据对齐到共享向量空间的技术而不断改进。一个关键重点是训练模型理解模态之间的关系，从而实现诸如图像到文本检索或视听同步等任务。例如，CLIP（对比语言-图像预训练）等模型利用对比学习将图像及其标题映射到相似的嵌入中，从而实现高效的跨模态搜索。这些方法依赖于大规模数据集和损失函数，这些函数可以最小化相关项（例如，照片及其描述）之间的距离，同时推开不相关的对。
架构创新正在增强模态之间的交互方式。基于 Transformer 的模型处理序列数据，现在整合了跨注意力层，以动态融合跨模态信息。像 Flamingo 或 VATT（视频-音频-文本 Transformer）这样的模型使用这些层联合处理视频、音频和文本，提高了在视频字幕等任务上的性能。另一个进展是使用模态特定编码器与共享投影层配对。例如，文本编码器和图像编码器可能会输出投影到同一空间的嵌入，从而实现直接比较。这种模块化允许开发者在不重新训练整个模型的情况下微调系统的部分组件。
实际优化正在使跨模态嵌入更易于访问和使用。知识蒸馏等技术使小型模型能够模仿大型模型，从而降低计算成本。例如，DistilCLIP 以更少的参数保留了 CLIP 的大部分性能。此外，研究人员正在通过利用自监督学习来解决数据效率问题——在未标注的数据上进行训练，例如带有对齐音频和视觉的 YouTube 视频。像 OpenAI 的 CLIP API 或 Hugging Face 的 pipelines 这样的工具现在提供了预训练的嵌入，开发者无需深入专业知识即可集成。这些进展降低了实现跨模态搜索、推荐系统或辅助功能工具（例如，为图像生成替代文本 alt-text）的障碍，使该技术在现实世界中的应用越来越实际可行。