残差连接主要通过改善梯度流动、支持更深的网络以及在迭代去噪步骤中保持信息完整性来使扩散模型架构受益。在扩散模型中，它逐步从数据中去除噪声，残差连接充当快捷方式，允许梯度在反向传播期间绕过层。 这可以防止梯度消失问题，其中早期层的更新变得太小而无法有效学习。例如，在常用于去噪的 U-Net 架构中，残差块让每层专注于细化噪声预测，而不是重新学习整个输入。这使得训练更加稳定，尤其是在模型具有许多层或需要长时间训练计划时。
另一个优点是能够在不降低性能的情况下扩展模型深度。 如果没有残差连接，更深的网络通常难以保持准确性，因为数据通过层时会发生信号丢失。 在扩散模型中，每个去噪步骤可能涉及数十个层，残差连接通过将原始输入添加到转换后的输出中来保留原始输入。 例如，残差块可能采用噪声图像，应用卷积层来估计噪声，然后将结果添加回原始噪声图像以进行细化。 这种加法过程可确保即使在数百层之后，也不会丢失关键细节（如图像中的形状或纹理）。 因此，模型可以更有效地处理复杂的数据分布，这对于图像合成等高质量生成任务至关重要。
最后，残差连接简化了学习目标。 残差连接不是强迫模型在每个步骤中预测整个去噪输出（这是一项艰巨的任务），而是使网络能够预测增量更新。 例如，使用残差的扩散模型可能会学习噪声图像和噪声略微减少的版本之间的差异，而不是直接预测干净图像。 这种增量方法降低了每个去噪步骤的复杂性，使训练更快、更可靠。 在实践中，像 Stable Diffusion 这样的框架通过设计带有迭代减去预测噪声的残差块的 U-Net 来利用这一点。 通过将问题分解为更小、更易于管理的更新，残差连接使扩散模型在计算上高效且更易于优化，即使对于大规模数据集也是如此。