为了在扩散模型中调整 Beta（噪声方差）调度以获得最佳性能，需要平衡噪声注入和模型在整个扩散过程中的稳定性。Beta 调度决定了每个时间步添加多少噪声，直接影响训练收敛和样本质量。以下是一个实用的优化框架：
1. Beta 调度设计关键原则
Beta 调度应：
- 逐渐增加噪声，避免干净数据和嘈杂数据之间的突然过渡。
- 控制信息衰减，确保模型能够学习有意义的去噪步骤。
- 与目标任务对齐，例如高分辨率图像生成或异常检测 [1][2]。
常见策略包括：
- 线性调度：简单但可能在后期时间步过度平滑细节。
- 余弦调度：早期噪声增加缓慢，更长时间地保留数据结构。
- 任务特定调度：例如，用于异常检测的部分扩散（较短的马尔可夫链）以降低计算成本 [1]。
示例：在 AnoDDPM 中，使用多尺度单纯形噪声调度代替高斯噪声，以便在部分扩散期间更好地控制异常大小 [1]。这需要调整 Beta 值以匹配截断时间步的噪声幅度。
2. 实用调优方法
a) 经验性测试
从已有的调度（例如，线性、余弦）开始并迭代优化：
- 对于高分辨率数据，使用较慢的初始噪声增长以保留结构。
- 为了更快采样，优先选择后期步骤 Beta 增量较大的调度。
b) 噪声方差约束
确保累积噪声方差（所有 Beta 值的乘积）不超过数据的方差。工具：
- 分析检查：验证 ( \prod_{t=1}^T (1 - \beta_t) ) 是否与数据统计量对齐。
- 自适应缩放：如果训练损失发散，动态调整 Beta 值。
c) 混合方法
结合噪声类型（例如，高斯和单纯形）用于特定任务。例如，AnoDDPM 对较大的异常使用单纯形噪声，但保留高斯噪声用于较小的变化 [1]。这需要为每种噪声类型和时间步使用单独的 Beta 调度。
3. 验证和指标
使用以下方法评估调度：
- 训练稳定性：监控损失曲线以查看是否存在振荡或平台。
- 样本质量：使用 FID（Frechet Inception Distance）等指标或任务特定得分（例如，异常检测准确率 [1]）。
- 速度-精度权衡：比较不同调度的收敛时间和推理速度。
示例：E2EDiff 的端到端框架通过直接优化最终输出，减少了训练-采样差距，这隐式调整了有效的 Beta 调度 [2]。测试此类方法涉及在 COCO30K 等数据集上与传统调度进行基准测试 [2]。
关键参考文献摘要
[1] AnoDDPM: Anomaly detection with denoising diffusion probabilistic models using simplex noise (2024) [2] E2EDiff: Enhanced Diffusion Models via Direct Noise-to-Data Mapping (Arxiv, 2024)
这些论文展示了任务特定的 Beta 调度（例如，用于异常检测的部分扩散 [1] 或端到端优化 [2]）如何在保持效率的同时提高性能。