要将多模态输入融入扩散模型，需要在训练和推理期间，对模型进行多种数据类型（例如，文本、图像、音频）的条件训练。这通常通过将每种模态嵌入到共享潜在空间中，并使用这些嵌入来指导去噪过程来实现。例如，文本输入可以通过像 CLIP 或 BERT 这样的语言模型处理，以生成文本嵌入，而图像可以通过视觉变换器进行编码。然后，这些嵌入被组合起来——通常使用交叉注意力层——以影响扩散模型如何逐渐从随机起点消除噪声。例如，在像 Stable Diffusion 这样的文本到图像模型中，交叉注意力层允许模型在生成过程中将文本提示与视觉特征对齐。类似地，音频输入可以转换为频谱图并嵌入，以影响扩散过程，从而完成生成与视觉输出同步的音乐等任务。
处理跨模态对齐至关重要。像文本和图像这样的模态必须映射到共享表示，以便扩散模型能够理解它们之间的关系。一种方法是使用对比学习训练联合嵌入空间，其中配对数据（例如，图像及其标题）在嵌入空间中被拉得更近。在训练期间，扩散模型学习生成与这些组合嵌入对齐的输出。例如，在配对文本和医学扫描图像上训练的模型可以使用文本描述来指导合成 MRI 图像的生成。另一种方法是使用适配器——将不同模态投影到统一格式的小型神经网络。例如，音频到图像模型可以使用适配器将梅尔频谱图转换为与扩散模型现有图像编码器兼容的嵌入。
实际应用需要仔细的设计选择。训练多模态扩散模型通常需要预训练的编码器来提高效率。例如，使用冻结的 CLIP 文本编码器来处理文本输入可以减少计算开销。在推理期间，用户可以灵活地混合模态：在文本和草图上训练的模型可以仅从任一输入或两者组合中生成图像。挑战包括平衡每种模态的影响——文本上的权重过大可能会忽略视觉提示。像模态特定的损失加权或训练期间的动态梯度缩放等技术可以缓解这个问题。例如，在使用音频和文本的视频生成模型中，音频嵌入的贡献可能对于时间敏感的帧进行更高的缩放。使用消融研究（例如，移除一种模态）进行测试有助于验证每种输入在最终输出中的作用。