为文本到图像生成调节扩散模型，需要将文本信息整合到模型的去噪过程中，以指导图像合成。这通常通过将文本提示词嵌入到数值表示中（例如，使用像 CLIP 或 BERT 这样的预训练语言模型），然后将这些嵌入注入到扩散模型的架构中来实现。例如，在 Stable Diffusion 中，文本提示词首先通过 CLIP 文本编码器编码成一个潜在向量。然后，这个向量通过交叉注意力层馈送到扩散模型的 U-Net 主干网络中，这些层允许模型在去噪过程中将特定词语或短语与视觉特征对齐。在去噪过程的每个步骤中，模型都会使用文本嵌入来调整其预测，确保生成的图像与提示词的语义内容相匹配。
文本条件扩散模型的训练过程涉及在数据集中将图像与其对应的文本描述配对。在训练期间，模型通过最小化损失函数来学习关联文本概念与视觉模式，该损失函数衡量去噪图像与原始图像和文本提示词的对齐程度。一个关键技术是 classifier-free guidance（无分类器引导），它通过训练模型在两种模式下运行来改善对生成输出的控制：一种是使用文本提示词，另一种是忽略它（使用“空”提示词）。在推理时，模型使用一个引导比例参数在这两种模式之间进行插值，该参数放大了文本对输出的影响。例如，较高的引导比例可能强调精确遵循提示词（例如，“树上的一个红苹果”），但可能会降低生成样本的多样性。
实际实现通常涉及架构选择，以优化文本与图像的对齐。例如，U-Net 中的交叉注意力层允许模型将文本标记空间地映射到图像区域，就像将单词“苹果”链接到潜在空间中的特定区域一样。开发人员可以通过重新训练交叉注意力层或调整文本编码器，在特定领域的数据（例如医学图像或动漫艺术）上对这些模型进行微调。挑战包括处理模糊的提示词（例如，“一把有两个扶手的椅子”）或避免训练数据中的偏差。像 Dreambooth 或 LoRA 这样的工具可以在不进行完整重新训练的情况下实现高效的自定义。总的来说，核心思想是将文本的语义信息与扩散过程紧密耦合，确保模型迭代地优化图像以匹配提示词的意图。