多模态扩散建模是一种机器学习方法，用于生成或处理跨多种类型（模式）的数据，如文本、图像、音频或视频。 与传统的扩散模型（专注于单一数据类型，例如，从噪声生成图像）不同，多模态版本处理不同模态之间的交互。 例如，模型可能会从文本提示生成图像，同时合成匹配的音频剪辑。 这是通过训练模型来理解模态之间的关系来实现的，使其能够产生跨格式的连贯输出。
核心机制建立在扩散过程之上，数据在此过程中被迭代去噪。 在多模态设置中，此过程被扩展以处理各种类型的输入和输出。 一种常见的架构是为每种模态使用单独的编码器（例如，文本编码器和图像编码器），并在共享的潜在空间中对齐它们的表示。 交叉注意力层通常在去噪步骤期间介导模态之间的交互。 例如，Stable Diffusion 采用交叉注意力来根据文本提示条件化图像生成。 更高级的示例是像 Imagen Video 这样的模型，它可以通过在扩散步骤中集成这些输入来生成以文本、音频甚至其他视频为条件的视频序列。
应用包括跨模态生成（例如，从文本描述生成音乐）、编辑（根据音频指令修改图像）或数据增强。 挑战包括有效地对齐不同的数据类型和管理计算复杂性。 训练需要大型的配对数据集（例如，文本-图像-音频三元组），与单模态数据相比，这些数据集非常稀缺。 尽管如此，多模态扩散模型是开发人员构建诸如 AI 辅助内容创建工具等应用程序的实用工具，在这些应用程序中，从混合输入生成连贯的多格式输出至关重要。