将扩散模型扩展到更高分辨率会带来巨大的计算和内存挑战。 随着图像分辨率的提高，像素数量呈二次方增长——例如，1024x1024 图像的像素数是 256x256 图像的 16 倍。 这直接影响了训练和推理时间，因为处理每个像素需要更多的操作和更大的张量。 内存使用也成为一个瓶颈，尤其是在使用 VRAM 有限的 GPU 时。 有助于稳定训练的较大批量大小变得不切实际，迫使开发人员使用较小的批量或梯度累积技术。 例如，在 4K 图像上训练扩散模型可能需要跨多个 GPU 分区模型或使用混合精度，从而增加实现的复杂性。
架构设计选择在更高分辨率下也变得更加重要。 在扩散模型中常见的标准 U-Net 架构在应用于高分辨率数据时，难以同时捕获精细细节和全局结构。 浅层可能会错过细微的纹理，而更深的网络则有失去空间连贯性的风险。 为了解决这个问题，开发人员通常采用多尺度方法，例如分层扩散或以阶段生成图像的级联模型（例如，低分辨率到高分辨率）。 有助于对远程依赖关系进行建模的注意力机制在高分辨率下会变得计算成本高昂。 例如，1024x1024 特征图上的自注意力层需要 O(N²) 运算，如果没有像窗口注意力或稀疏注意力模式这样的优化，这是不切实际的。
训练动态和数据需求提出了额外的障碍。 高分辨率图像需要更大且更多样化的数据集以避免过度拟合，因为模型必须学习跨尺度的复杂模式。 例如，如果数据集缺少足够的细粒度纹理（如树皮或水面反射）的示例，则在 512x512 自然照片上训练的模型可能无法生成逼真的 1024x1024 图像。 训练稳定性也会受到影响：去噪过程对噪声计划和学习率等超参数变得更加敏感。 开发人员可能需要仔细调整这些参数或采用像渐进式增长这样的技术，模型首先学习较低的分辨率，然后再进行放大。 最后，像 FID（Fréchet Inception Distance）这样的评估指标可能无法可靠地反映更高分辨率下的感知质量，从而使模型迭代复杂化。