扩散模型通过迭代去噪随机噪声来生成数据，通过重新思考数据的表示和处理方式，可以将其应用于音频和文本等非图像领域。核心思想保持不变：训练一个模型来反转一个逐渐增加噪声的过程。然而，非图像数据需要进行调整以处理其独特的结构。例如，音频是 1D 时间序列信号，而文本是离散的符号。成功的关键在于设计合适的噪声调度、神经网络架构以及数据编码方法，使其与数据的固有特性相符。
对于音频，扩散模型通常在语谱图（时频表示）或原始波形上操作。语谱图是二维的，可以利用类似于图像模型的架构，例如带有卷积层的 U-Nets。对于原始音频这种高维度的 1D 数据，像 DiffWave 这样的模型使用扩张卷积来有效捕捉长距离依赖关系。在文本中，离散标记带来了挑战，因为标准扩散需要连续噪声。解决方案包括在应用扩散之前将文本嵌入到连续空间中（例如，使用预训练语言模型），如 Diffusion-LM 中所示，或者使用“吸收扩散”（absorbing diffusion）等技术，这种技术不是添加高斯噪声，而是屏蔽标记。例如，吸收扩散在训练期间随机地将标记替换为 [MASK] 符号，模型学习一步一步地预测原始标记。
主要挑战包括计算效率和维护序列数据的一致性。音频生成必须保持时间连贯性——一个未对齐的去噪步骤可能会引入伪影。文本生成必须确保语法结构和语义意义，这在去噪离散符号时更具挑战性。开发者可以使用基于 Transformer 的架构来处理文本的长距离依赖关系，或采用结合扩散和自回归采样（autoregressive sampling）的混合方法。实际应用包括文本转语音（根据文本提示去噪音频）或文档生成（迭代细化被屏蔽的文本）。扩散模型的可适应性在于其框架——一旦数据表示和噪声过程经过调整，同样的原理就可以应用于不同领域。