基于 Transformer 的架构在集成到扩散模型中时具有多个优势，这主要是因为它们能够处理数据中的复杂关系并有效地扩展。 扩散模型通过逐步去噪过程生成数据，而 Transformer 擅长对这些步骤之间的依赖关系进行建模。 与卷积或循环神经网络不同，Transformer 并行处理序列的所有元素，从而加快训练和推理速度。 例如，在图像生成任务中，Transformer 可以在每次去噪迭代期间同时处理图像的所有块，从而减少计算瓶颈。 这种并行性还允许 Transformer 有效地扩展到更大的数据集和模型大小，使其适用于高分辨率输出。
另一个关键优势是 Transformer 的自注意力机制，它可以捕获数据中的长程依赖关系。 在扩散模型中，保持整个输出的一致性（例如，确保生成的图像具有一致的照明或对象放置）至关重要。 自注意力使模型能够衡量数据中遥远区域之间的关系。 例如，在对人脸图像进行去噪时，即使眼睛和鼻子在空间上相距很远，模型也可以将眼睛的位置与鼻子的形状相关联。 使用 CNN 很难实现这种能力，因为 CNN 依赖于局部感受野。 像 Vision Transformer (ViT) 这样的架构经过调整适用于扩散，例如 UViT 或 DiT（扩散 Transformer），与基于 CNN 的方法相比，在复杂场景中表现出更高的样本质量。
最后，Transformer 提供了处理不同数据类型的灵活性。 扩散模型用于图像、音频甚至分子结构，Transformer 可以通过最小的架构更改来处理这些模态。 例如，通过将频谱图标记为序列，可以将经过图像训练的 Transformer 适配用于音频。 这种通用性简化了跨领域的实验和部署。 此外，Transformer 支持通过交叉注意力层进行条件机制（例如，类标签或文本提示），这对于引导生成至关重要。 Hugging Face 的 Diffusers 库等工具利用基于 Transformer 的扩散模型来完成文本到图像合成等任务，展示了它们的实际多功能性。 通过结合可扩展性、依赖关系建模和适应性，Transformer 增强了扩散模型在广泛应用中的性能。