扩散模型通过调整训练策略、修改损失函数和利用采样技术来处理条件设置下的标签不平衡问题。在条件生成中,模型使用标签来指导去噪过程,但数据不平衡可能导致模型在代表性不足的类别上表现较差。为了缓解这一问题,扩散模型通常会采用加权损失函数、数据增强以及在采样过程中调整指导比例等方法。这些方法确保少数类别在训练和推理过程中都能获得足够的关注,即使它们在数据集中的样本很少。
一种常见的策略是重新加权损失函数,以优先处理代表性不足的标签。例如,如果一个数据集有 1,000 张“猫”图片但只有 100 张“狗”图片,那么“狗”样本的训练损失可以乘以一个因子(例如 10 倍),以放大它们对梯度更新的影响。这迫使模型更专注于学习少数类别的模式。此外,无分类器指导(一种模型学习生成带或不带显式标签样本的技术)可以在推理过程中进行调整。通过增加代表性不足类别的指导比例,模型会强调这些标签的条件信号,从而提高它们的生成质量。例如,在 X 光片中生成罕见疾病可能需要更高的指导比例,以确保模型尊重这些病例的特定特征。
架构调整和数据增强也发挥着作用。一些实现会在训练期间对少数类别进行过采样,或者应用特定领域的增强(例如,旋转或裁剪罕见图像),以人为地增加其有效数量。在医学影像领域,罕见疾病可能仅出现在 2% 的扫描中,模型可以使用独立的嵌入层来区分罕见和常见类别,以更好地捕捉它们的独特特征。另一种方法是在对完整不平衡数据集进行初始训练后,在平衡的数据子集上对模型进行微调。例如,在有偏差的人脸数据集上训练的扩散模型,随后可以在代表性不足的人群数量相等的子集上进行微调,以减少生成图像中的偏差。这些方法共同帮助扩散模型解决标签不平衡问题,而无需对其核心架构进行根本性改变。