扩散模型的自动化超参数搜索方法有助于优化训练效率和模型性能，而无需手动调整。常见方法包括网格搜索、随机搜索、贝叶斯优化和基于群体的训练。这些方法系统地探索超参数组合，例如学习率、扩散步数、噪声调度和批大小，以识别可以提高样本质量或训练速度等指标的配置。 鉴于训练扩散模型的计算成本，高效的超参数搜索对于避免浪费资源至关重要。
网格搜索和随机搜索是基础方法。网格搜索穷举地测试预定义的超参数组合，这适用于小搜索空间，但由于高维性，对于像扩散模型这样的复杂模型来说变得不切实际。例如，调整扩散步数（例如，100 与 1,000）以及噪声调度（线性与余弦）将需要训练许多模型，从而使网格搜索效率低下。 随机搜索随机采样超参数，通常通过关注不同的区域来优于高维空间中的网格搜索。 例如，随机采样学习率（例如，1e-4 到 1e-6）和批大小（例如，32 到 256）可以更快地产生更好的结果。 然而，这两种方法都缺乏适应性，这使得它们不太适合资源密集型扩散模型。
贝叶斯优化和基于群体的训练 (PBT) 等高级技术提供了更高的效率。 贝叶斯优化使用概率模型根据过去的评估来预测有希望的超参数。 例如，高斯过程可以对噪声调度参数和验证损失之间的关系进行建模，从而引导搜索以更少的试验找到最优值。 Hyperopt 或 Optuna 等工具实现了这种方法。 PBT 在 Ray Tune 等框架中使用，并行训练多个模型，并在训练期间动态调整超参数。 对于扩散模型，这可能涉及根据中间结果演化学习率或 dropout 率。 另一种方法 Hyperband 将随机搜索与提前停止相结合，为有希望的配置分配更多资源。 例如，如果损失达到稳定水平，它可能会提前终止扩散模型训练运行，从而节省计算时间。 这些方法平衡了探索和利用，使其非常适合扩散训练的迭代性质。