动量在优化扩散模型中起着关键作用，它能提高训练过程的稳定性和速度。 在扩散模型中，目标是训练一个神经网络来逆转一个逐渐增加噪声的过程，这需要解决一系列复杂的优化问题。 动量是一种借用自随机梯度下降 (SGD) 等优化算法的技术，它有助于管理训练过程中出现的嘈杂和高方差梯度。 通过累积过去梯度的加权平均值，动量可以平滑更新方向上的突变，从而使模型能够更快地收敛，并避免陷入局部最小值或围绕最佳参数振荡。
动量影响的一个具体例子是在去噪扩散概率模型 (DDPM) 的训练中。 这些模型预测扩散过程每个时间步的噪声，并且由于在不同时间步添加的不同程度的噪声，它们的损失情况可能不规则。 如果没有动量，梯度更新可能会过度或过度波动，尤其是在处理噪声结构快速变化的时间步时。 动量通过将惯性引入参数更新来缓解这种情况。 例如，当使用像 Adam 这样的优化器（它通过指数移动平均线包括类似动量的项）时，即使单个梯度估计值有噪声，模型也可以保持朝着最优值的稳定轨迹。 这在训练的后期阶段特别有用，在这些阶段，需要进行细粒度的调整以改进模型的输出质量。
从实现的角度来看，动量参数（例如 Adam 中的 β₁）通常会进行调整，以平衡短期和长期梯度信息。 在扩散模型中，一个常见的选择是 β₁=0.9，它更强调最近的梯度，同时仍然保留一些历史上下文。 这种设置有助于模型适应扩散过程的时间依赖性——早期时间步（高噪声）的梯度与后期时间步（细微改进）的梯度显着不同。 开发人员可以尝试这些超参数来优化训练稳定性； 例如，降低 β₁ 可能有助于梯度分布在时间步之间突然变化的情况。 总体而言，动量充当了一种稳定力，使扩散模型的优化更加高效和可靠，而无需引入显着的计算开销。