在潜在扩散模型中，潜在空间是由自编码器创建的数据（如图像）的低维表示。自编码器由编码器和解码器组成：编码器将输入数据压缩为紧凑的潜在向量，解码器从该向量重建原始数据。这种压缩空间通过避免直接操作高维像素数据来降低计算复杂性。例如，一个 512x512 的 RGB 图像（768K 维度）可以被压缩成一个 64x64 的潜在空间（4K 维度），使得后续的扩散等操作更加高效。潜在空间并非任意的——它是在训练过程中学习得到的，以保留精确重建所需的必要特征，从而平衡压缩和有意义的表示。
这些模型中的扩散过程完全在潜在空间中进行。模型不是逐像素地添加和移除噪声，而是将扩散步骤应用于潜在向量。在训练过程中，扩散模型学习反转一个渐进的噪声添加过程：从一个干净的潜在向量开始，在多个步骤中添加噪声，然后训练模型来预测和移除这些噪声。例如，在 Stable Diffusion 中，U-Net 架构处理带噪声的潜在向量，并以文本提示为条件，来预测去噪后的版本。这种方法避免了直接处理全分辨率图像的计算成本，从而能够在消费级硬件上进行训练，同时保持高质量的输出。
使用潜在空间的好处是双重的。首先，计算效率得到了显著提高——处理 64x64 的潜在向量比处理 512x512 的图像所需的资源要少得多。其次，潜在空间通常比原始像素更能有效地捕捉语义上有意义的模式（例如，物体形状或纹理），从而简化了去噪任务。例如，一个潜在向量可以将“一只狗”的概念编码为一组抽象特征，允许扩散模型专注于优化高层结构，而不是单个像素。这种抽象也实现了诸如文本到图像生成之类的应用，其中潜在空间通过扩散过程中的交叉注意力机制连接离散的文本输入和连续的图像输出。