生成对抗网络（GAN）通过对抗训练提高了合成语音的质量和自然度，从而应用于文本转语音（TTS）。在典型的 GAN TTS 设置中，生成器模型从文本输入创建语音波形或中间表示（如梅尔频谱图），而判别器模型评估输出是否类似于真实的人类语音。生成器旨在欺骗判别器，判别器则提供反馈以改进生成器的输出。这种对抗过程有助于减少传统 TTS 系统中仅依赖均方误差（MSE）损失常见的伪影和过度平滑问题。
一个具体的例子是 GAN-TTS，其中生成器将文本嵌入转换为梅尔频谱图，判别器使用谱特征和时间特征来评估真实性。与顺序生成语音且速度慢的自回归模型（例如 WaveNet）不同，GAN 可以并行生成高质量语音，使其在实时应用中更快。另一个例子是 Parallel WaveGAN，这是一种使用 GAN 从梅尔频谱图合成原始音频的声码器。在这里，生成器直接预测波形样本，判别器评估生成音频的局部和全局一致性。这种方法降低了传统声码器的计算成本，同时保持了清晰度。
然而，基于 GAN 的 TTS 系统面临挑战。训练不稳定很常见，需要仔细调整损失函数（例如，将对抗损失与 MSE 或谱收敛损失相结合）。如果判别器变得过于主导，可能会发生模式崩溃——即生成器产生有限的语音变异。此外，将 GAN 集成到完整的 TTS 流水线中（例如，将文本特征与音频输出对齐）仍然很复杂。尽管存在这些问题，GAN 越来越多地用于混合系统中，例如将基于 GAN 的梅尔频谱图生成器与神经声码器结合使用，以平衡速度和质量。从事 TTS 工作的开发者可以利用 NVIDIA 的 WaveGlow 或 HiFi-GAN 等开源实现来试验 GAN 驱动的语音合成改进。