提高扩散模型的泛化能力涉及多种技术，这些技术有助于模型在多样化、未见过的数据上表现良好。三个关键方法包括使用多样化的训练数据、修改模型架构以及应用正则化策略。这些方法确保模型学习到鲁棒的特征，避免对训练数据中的特定模式过拟合。下面我们将详细探讨这些技术。
首先，多样化且高质量的训练数据至关重要。在各种数据集上训练的扩散模型能捕获更广泛的模式，这有助于其泛化。例如，在 Stable Diffusion 等文本到图像模型中，使用涵盖多种风格、对象和上下文的描述性文本提示配对图像进行训练，提高了模型处理新提示的能力。通过裁剪、旋转或颜色抖动等变换增强数据可以进一步提高多样性。然而，平衡数据增强是关键——过度的变化可能会扭曲基本特征。例如，在扩散过程中（如 DDPM 中）添加轻微噪声可以模拟现实世界的变异，教导模型处理输入中的不完美之处。
其次，架构选择起着重要作用。使用自适应组件，如注意力机制（例如，在 U-Net 架构中），可以使模型专注于数据的相关部分。例如，在文本条件模型中的交叉注意力层有助于使图像生成与文本输入对齐。另一种方法是增加模型容量，使用更深的网络或残差块，但这必须与渐进蒸馏等技术结合使用以保持效率。EMA（指数移动平均）等技术通过减少更新的方差来稳定模型权重的训练，这对于大型数据集尤其有用。无分类器指导是另一种架构调整，它通过在采样过程中融合条件和非条件预测来提高泛化能力。
最后，正则化和训练策略可以防止过拟合。添加 dropout 层或权重衰减鼓励模型依赖多个特征而不是特定的神经元。例如，在 U-Net 中间层应用 dropout 强制模型学习冗余路径。调整噪声调度——即添加和移除噪声的过程——也很重要。精心设计的调度确保模型学习到高层结构（早期步骤）和精细细节（后期步骤）。使用较低学习率进行更多步骤的训练会有帮助，这在 Imagen 等模型中可见，该模型使用动态阈值处理高分辨率输出中的极端值。迁移学习，即模型在大数据集（例如 LAION-5B）上进行预训练，然后在特定领域数据上进行微调，也通过利用先验知识提高了泛化能力。
通过结合这些策略——精心策划多样化数据、优化架构以及应用有针对性的正则化——开发人员可以构建能够适应广泛输入和任务的扩散模型。实验是关键，因为合适的平衡取决于特定的用例和数据集。