Diffusion models依赖神经网络迭代去噪数据，常用的架构有三种：U-Net、基于Transformer的网络和ResNet变体。每种架构都解决了扩散过程建模中的特定挑战，例如捕获空间关系、处理序列去噪步骤或提高训练稳定性。选择取决于数据类型（例如，图像、文本）和计算约束。
U-Net是图像扩散模型中最广泛使用的架构，例如Stable Diffusion和DDPM（去噪扩散概率模型）。U-Net结合了编码器-解码器结构和跳跃连接，使模型能够在去噪过程中保留精细的细节。编码器对输入数据进行下采样以提取高级特征，而解码器则进行上采样以重建输出。跳跃连接桥接这些阶段，确保保留局部细节。此外，许多实现将注意力机制（类似于Transformer中的机制）集成到U-Net块中。例如，Stable Diffusion使用带有交叉注意力层的U-Net，根据文本提示进行图像生成。这种混合方法平衡了空间感知能力和建模长程依赖性的能力。
基于Transformer的架构在扩散模型中越来越受欢迎，尤其适用于涉及序列或高维数据的任务。Transformer通过自注意力机制擅长捕获全局上下文，这对于建模扩散时间步或数据模态之间的关系非常有用。例如，谷歌的Imagen使用Transformer对文本提示进行编码，这些提示引导由U-Net处理的扩散过程。纯Transformer架构，如一些视频扩散模型中的架构，将数据视为标记序列，从而能够灵活处理可变长度输入。然而，它们的计算成本通常限制其仅用于特定组件（例如，条件网络），而不是整个去噪流程。
ResNet变体采用残差块构建，是另一种常见的选择。这些残差块使用跳跃连接来缓解梯度消失问题，使其适用于深度网络。在扩散模型中，ResNet通常集成到U-Net架构中。例如，原始的DDPM论文使用由ResNet块组成的U-Net进行图像生成。潜在扩散模型，如Stable Diffusion，将基于ResNet的U-Net与自编码器结合：自编码器将图像压缩到低维潜在空间，减少计算需求，而U-Net在该空间中操作，实现高效训练和采样。这种方法平衡了性能和资源使用，使其适用于大规模应用。