潜在扩散模型 (LDM) 是一种生成式 AI 架构，它将扩散过程（一种逐渐添加和去除噪声的方法）应用于以压缩的、低维“潜在空间”表示的数据。 与像素空间扩散（直接在原始图像像素上操作）不同，LDM 首先使用自动编码器将输入数据（如图像）编码为潜在表示。 这种压缩表示捕获了数据的基本特征，同时丢弃了不太重要的细节。 然后，扩散过程发生在这个潜在空间中，噪声被迭代地添加和移除以生成新的数据样本。 最后，解码器将去噪的潜在表示转换回像素空间图像。 这种方法降低了计算复杂度，因为在潜在空间中工作比处理全分辨率像素数据需要更少的资源。
LDM 和像素空间扩散之间的主要区别在于扩散过程的应用位置。 像素空间模型，如早期版本的 DALL-E 或 Imagen，在每次添加和移除噪声的步骤中直接修改图像像素。 例如，512x512 RGB 图像每次迭代需要处理 786,432 个值。 相比之下，LDM 将图像压缩到可能是 64x64x4（16,384 个值）的潜在空间，从而大大降低了计算负担。 这种压缩可以实现更快的训练和推理，同时保持生成高质量输出的能力。 例如，广为人知的 LDM Stable Diffusion 使用这种方法在消费级 GPU 上高效地生成详细图像。 通过专注于潜在表示，LDM 还避免了像素空间操作的冗余，其中相邻像素通常包含相似的信息。
另一个关键的区别是自动编码器在 LDM 中的作用。 必须单独训练自动编码器，以确保潜在空间保留足够的细节以进行准确的重建。 例如，如果自动编码器未能很好地捕获纹理或边缘，则最终生成的图像将反映这些缺陷。 像素空间模型避开了这种依赖性，但付出了更高的内存和计算要求。 使用 LDM 的开发人员必须平衡压缩率（潜在空间大小）与重建质量，而像素空间模型则需要在分辨率和计算可行性之间进行权衡。 在实践中，LDM 通常是可扩展应用程序（如实时图像生成）的首选，而像素空间方法可能仍用于需要像素级精度的专门任务，例如医学成像，其中潜在压缩可能会有丢失关键细节的风险。