训练扩散模型时，有几个超参数会显著影响训练过程的质量、稳定性和效率。 其中最关键的包括扩散时间步数、噪声计划和学习率配置。 这些参数直接影响模型学习如何逆转逐渐噪声化的过程并生成连贯输出。 让我们分解一下它们的作用和实际考虑因素。
首先，扩散时间步数 (T) 决定了噪声化和去噪过程的划分精细程度。 较高的 T（例如，1,000 步）允许模型学习步骤之间较小的增量变化，这可以提高输出质量。 然而，这会增加计算成本和训练时间。 相反，较少的步骤（例如，100 步）可能会导致粗略的近似和生成的样本中的伪影。 例如，像 DDPM（Denoising Diffusion Probabilistic Models，去噪扩散概率模型）这样的模型通常使用 1,000 步来进行高质量图像生成，而像 DDIM（Denoising Diffusion Implicit Models，去噪扩散隐式模型）这样更快的变体则通过使用非马尔可夫假设来减少步骤。 在 T 与计算约束之间取得平衡至关重要——开发人员通常从研究中建立的值开始，并根据他们的用例进行调整。
其次，噪声计划控制在每个时间步长添加多少噪声。 常见的计划包括线性、余弦或学习方法。 例如，线性计划以恒定的速率添加噪声，而余弦计划则在过程的开始和结束时减慢噪声的添加，从而模拟自然信号衰减。 这种选择会影响模型在各个时间步长上的泛化程度。 选择不当的计划可能会导致训练期间的不稳定性或难以逆转噪声化过程。 例如，《改进的 DDPM》论文表明，与线性计划相比，余弦计划通过更好地在各个步骤中分配噪声来提高样本质量。 开发人员应尝试使用计划并监控训练损失曲线，以识别不稳定或饱和情况。
第三，学习率和优化器配置对于稳定收敛至关重要。 扩散模型通常使用 Adam 或 AdamW 优化器，学习率在 1e-4 和 2e-4 之间。 由于扩散涉及预测许多时间步长内的噪声，因此模型必须学习一致的误差校正模式。 学习率过高可能会导致发散，而学习率过低会减慢训练速度。 此外，像学习率预热（在初始步骤中逐渐提高速率）或衰减（随着时间的推移降低速率）这样的技术可以帮助稳定训练。 例如，将预热期设置为 5,000 步并线性增加到基准速率是一种常见的做法。 开发人员还应考虑批量大小——较大的批量（例如，128 个）可以改善梯度估计，但需要更多的内存，而较小的批量可能会引入噪声。
总之，扩散模型的有效训练取决于平衡时间步长粒度、噪声计划和优化器设置。 实际调整取决于数据集复杂性、可用计算和所需的输出质量。 开发人员应迭代测试配置，使用像 Fréchet Inception Distance (FID) 这样的验证指标进行生成任务，并利用社区基准（例如，来自 DDPM 或 Stable Diffusion 实现的设置）作为起点。 正确的调整可确保模型有效地学习去噪过程，同时避免像模式崩溃或过度训练时间这样的常见陷阱。