什么是预训练扩散模型？ 预训练扩散模型是一种生成式 AI 系统，通过学习反转逐渐增加噪声的过程，在大型数据集上进行训练，以创建新的数据，例如图像、音频或文本。这些模型从随机噪声开始，并迭代地将其细化为连贯的输出。例如，在图像上训练的扩散模型学习去除训练期间添加的人工噪声，从而有效地“猜测”原始数据结构。流行的例子包括 Stable Diffusion 和 OpenAI 的 DALL-E，它们通过利用其对噪声如何与训练数据中有意义的模式相关的理解，从文本提示生成图像。预训练阶段需要大量的计算资源和多样化的数据集，这使得这些模型成为生成任务的强大通用工具。
如何对其进行微调？ 微调使预训练的扩散模型适应特定任务或数据集。这是通过在较小的专门数据集上继续训练或调整模型参数以优先考虑某些输出来完成的。例如，通过在带注释的解剖图数据集上训练，可以对在通用图像上训练的模型进行微调，以生成医学插图。通常使用像 Low-Rank Adaptation (LoRA) 或 Dreambooth 这样的技术：LoRA 冻结原始模型权重并训练较小的矩阵来修改行为，而 Dreambooth 使用最少的示例来微调模型以重现特定的主题或样式。开发人员还可以调整训练损失函数或修改噪声计划，以更好地与目标数据分布对齐。
微调的实践考虑 微调需要在计算效率和输出质量之间取得平衡。例如，在包含 100 幅绘画的自定义数据集上进行训练以模仿艺术家的风格可能涉及降低学习率，以避免覆盖模型的通用知识。像 Hugging Face 的 Diffusers 库或 Stability AI 的 API 这样的工具为实验提供了可访问的框架。但是，微调需要仔细验证以防止过度拟合，例如使用提前停止或数据集扩充等技术。此外，当为敏感领域（例如，面部生成）微调模型时，会出现伦理问题，需要采取安全措施来防止滥用。通过结合有针对性的数据、像 LoRA 这样的高效方法和迭代测试，开发人员可以将扩散模型应用于特定的利基应用，而无需从头开始。