跨模态扩散模型是生成式 AI 系统，旨在创建或翻译不同模态（如文本、图像、音频或视频）之间的数据。这些模型使用扩散过程，即逐步向数据添加噪声，然后学习反转噪声以生成连贯的输出。“跨模态”方面意味着它们映射不同数据类型之间的关系——例如，从文本提示生成图像或将语音转换为文本。在训练过程中，这类模型通常使用编码器对齐特征（例如，文本嵌入与图像像素），从而学习跨模态的共享表示。然后，扩散过程根据输入模态，迭代地将随机噪声细化为结构化输出，确保源数据和目标数据之间的一致性。
一个主要应用是文本到图像合成，其中 Stable Diffusion 或 Imagen 等模型可以根据文本描述生成高质量图像。开发者可以使用这些工具进行设计原型制作、为应用程序创建视觉内容或增强创意工作流程。另一个用例是图像到文本，例如生成关于视觉数据的标题或回答问题，这有助于辅助功能或数据标注。跨模态模型还可以实现视听任务，例如为视频生成音轨或将嘴唇动作与语音同步。在医疗保健领域，它们可以将医疗报告转换为合成 MRI 图像，用于训练下游模型。这些应用依赖于模型在不同模态之间保持语义一致性的能力——例如，确保文本提示“一辆红色汽车”生成具有正确颜色和对象的图像。
对于开发者来说，实现跨模态扩散模型通常涉及利用 PyTorch 等框架或 Hugging Face 的 Diffusers 等库。训练需要配对数据集（例如，来自 COCO 或 LAION 的文本-图像对）以及用于管理迭代扩散过程的计算资源。挑战包括高效对齐模态特定特征以及处理推理过程中的计算成本。像潜在扩散（用于 Stable Diffusion）这样的技术通过在压缩数据空间中操作来减少内存使用。预训练模型通常针对领域特定任务进行微调，例如根据目录描述生成产品图像。通过理解这些机制，开发者可以将跨模态扩散应用于自定义应用，从融合文本和视觉的交互式工具到处理多种输入的跨模态助手。