端到端神经文本转语音 (TTS) 系统使用神经网络将书面文本直接转换为语音波形，绕过了传统的多阶段流水线。与需要单独组件进行文本规范化、语言特征提取和声学建模的旧 TTS 方法不同，端到端系统训练单个神经网络来处理整个过程。这些模型通常使用带有注意力机制的序列到序列架构，例如 Tacotron 或 FastSpeech，并搭配神经声码器，例如 WaveNet 或 WaveGlow。例如，Tacotron 2 将文本字符映射到梅尔频谱图（一种压缩音频表示），然后使用 WaveNet 生成最终波形。这种方法通过消除手工制作的语言规则和中间表示来简化系统，而是依赖于数据驱动的学习。
端到端 TTS 的架构通常涉及三个关键组件。首先，**编码器**将输入文本处理成嵌入序列，从而捕获语言和语音上下文。接下来，**注意力机制**将这些嵌入与目标音频特征对齐，确保模型知道文本的哪些部分对应于特定声音。最后，**解码器**逐帧生成音频表示（例如，梅尔频谱图）。例如，在 Tacotron 中，解码器使用自回归技术，根据先前的输出来预测每个频谱图帧。然后，声码器将这些频谱图转换为原始音频波形。训练包括最小化预测的频谱图和波形与真实频谱图和波形之间的损失，通常使用 LJSpeech 或 LibriTTS 等数据集。诸如 FastSpeech 之类的现代变体将自回归解码替换为可并行化的 Transformer 架构，从而加快了推理速度，但需要额外的对齐模型。
端到端 TTS 在简单性和自然性方面具有优势，但也面临挑战。通过直接从数据中学习，这些系统可以产生更具表现力和更像人类的语音，尤其是在复杂的韵律或罕见单词的情况下。但是，它们需要大量的配对文本-音频数据（数小时的录音）和大量的计算资源来进行训练。如果模型遇到未见过的文本模式，则可能发生发音错误，并且注意力机制有时无法正确对齐，从而导致跳过或重复单词。实际应用包括虚拟助手（例如，Alexa 或 Google Assistant）和有声读物叙述。最近的进展，例如基于扩散的声码器或零样本 TTS 模型（如 VALL-E），旨在提高效率和泛化能力。开发人员可以使用 ESPnet 或 NVIDIA 的 NeMo 等开源框架来实现这些系统，尽管针对特定用例进行微调仍然至关重要。