要实现类别条件扩散模型，首先需要将类别信息整合到扩散过程中。扩散模型的工作原理是逐步向数据添加噪声，然后学习逆转这个过程。对于类别条件化，需要修改模型以接受类别标签作为输入，与带噪声的数据一同输入。通常的做法是将类别标签嵌入成一个向量，并在神经网络的多个阶段将其注入。例如，在 U-Net 架构（通常用于扩散模型）中，可以将类别嵌入与时间步嵌入拼接，或使用交叉注意力层对模型进行类别条件化。核心思想是确保模型使用类别标签来指导去噪过程，生成与指定类别对齐的数据。
接下来，训练过程需要仔细设置。在训练期间，将带噪声的数据样本及其对应的类别标签对输入到模型中。损失函数衡量模型在给定类别条件下预测添加到数据中的噪声的能力。例如，如果在 CIFAR-10 上训练，每个图像的类别标签（例如，“飞机”或“狗”）都会被嵌入，并与时间步信息结合。这种条件化在每个去噪步骤都会应用。一种常见的方法是使用一个简单的投影层将类别标签映射到嵌入，然后将其添加到时间步嵌入或馈送到残差块中。重要的是确保类别信息在整个网络中始终可用，因为缺少这一点可能导致条件化效果不佳和输出模糊。
最后，在采样期间，通过逆转扩散过程生成数据，同时以目标类别为条件。从纯噪声开始，模型在多个时间步上迭代地对样本进行去噪，使用类别标签来引导输出。例如，如果你想生成一张猫的图像，你会在每个去噪步骤传入类别标签“猫”。为了提高质量，可以使用无分类器引导等技术。这涉及训练模型有时忽略类别标签（在训练期间随机丢弃），然后在采样期间在有条件和无条件的预测之间进行插值。实现这一点需要对训练循环进行微调：随机用空标记替换类别标签（例如，10% 的时间），并调整采样逻辑，根据引导尺度超参数混合预测结果。这平衡了对类别的忠实度和样本的多样性。