离散扩散模型和连续扩散模型是两种通过迭代添加和去除噪声来生成数据的方法。它们之间的关键区别在于处理的数据类型以及如何建模扩散过程。离散扩散模型处理具有离散、独立状态的数据，例如文本 token、分类变量或二进制值。而连续扩散模型则处理实值数据，例如图像、音频或传感器读数，这些数据的值存在于一个平滑的范围内。这种区别决定了噪声在训练和采样过程中如何应用和反转。
在离散扩散中，过程涉及在时间上在离散状态之间转换。例如，在文本生成中，在每个扩散步骤中，一个 token 可能会被随机遮蔽或替换为另一个 token。这些转换由预定义的调度或转换矩阵控制，该矩阵指定了在状态之间移动的概率（例如，保留一个 token，替换它或遮蔽它）。一个经典例子是在语言模型中使用的“mask-predict”方法，其中 token 在采样期间逐渐显露。离散模型通常依赖于吸收状态（其中 token 被遮蔽）或词汇项之间的均匀转换等技术。相比之下，连续扩散模型根据预定的噪声调度逐步向数据添加高斯噪声。例如，在每个步骤中，图像像素的值可能会被少量噪声扰动，直到它变成纯噪声。在采样过程中，模型通过在每个步骤中预测并减去噪声来学习反转此过程。这种方法通常用于像 DDPM（去噪扩散概率模型）这样的图像生成模型中。
对于开发者而言，实际影响围绕着实现和用例。离散模型更适合涉及分类数据的任务，例如文本生成或表格数据插补。对于某些操作（例如，转换概率的查找表），它们通常需要较少的计算资源，但由于可能状态的组合爆炸，可能难以处理高维数据。连续模型在图像或音频合成等领域表现出色，这些领域可以通过神经网络有效地计算梯度。然而，它们需要仔细调整噪声调度，并且可能需要更多训练数据来学习复杂分布。例如，Stable Diffusion 使用连续方法通过建模像素级噪声来生成高分辨率图像，而像 D3PM（离散去噪扩散概率模型）这样的离散模型则通过扩散 token 级变化应用于文本。开发者应根据数据类型、可扩展性需求以及可解释性（离散转换）和灵活性（连续梯度）之间的权衡进行选择。