学习率调度在扩散模型的训练中扮演着关键角色，它平衡着稳定性、收敛速度和最终性能。扩散模型通过迭代细化学习逆转一个添加噪声的过程，这涉及训练一个网络来预测多个时间步的噪声或数据。由于每个时间步对应不同的噪声水平，训练过程中的优化格局（optimization landscape）会发生显著变化。精心设计的学习率调度能够适应这些变化，帮助模型在复杂梯度中导航并避免不稳定，同时保持高效训练。
学习率调度的一个关键影响是管理训练速度和稳定性之间的权衡。在训练早期，较高的学习率可以通过对模型参数进行更大的更新来加速初始收敛。例如，线性预热调度（linear warmup schedule）在前几个 epoch 逐渐增加学习率，防止在高噪声时间步中出现早期过冲，因为这些时间步的梯度可能不稳定。相反，基于衰减的调度（如余弦或步长衰减）在训练后期降低学习率，以提升模型处理低噪声时间步的能力，这需要精确的调整。如果没有这种衰减，模型在后期微调细节时可能会震荡或发散。这种平衡确保模型在不牺牲稳定性的情况下高效进展。
实际实现选择取决于扩散模型的架构和数据集。例如，最初的 DDPM 论文使用了固定的学习率，但现代变体通常采用自适应调度。余弦衰减调度（cosine decay schedule）会随着时间平滑地降低学习率，有助于模型从粗粒度学习阶段过渡到细粒度学习阶段。开发者还可以尝试按时间步调整学习率，其中噪声较大的时间步（扩散过程早期）使用比后期更高的学习率。监控跨时间步的损失曲线和梯度大小可以指导调整——突然的峰值可能表明需要更慢的学习率。将调度与其他技术（如梯度裁剪或 EMA - 指数移动平均）结合使用，可以进一步稳定训练。最终，合适的调度取决于经验测试，但对于获得高质量、稳定的扩散模型至关重要。