从研究角度看，当前的文本转语音 (TTS) 技术面临一些局限性，特别是在实现自然度、处理罕见或歧义输入以及高效扩展方面。这些挑战源于在建模人类语音模式、适应不同的语言环境以及平衡计算成本方面的不足。下面，我将概述三个关键局限性，并提供具体示例和技术背景。
首先，TTS 系统在韵律（语音的节奏、重音和语调）方面经常遇到困难。虽然像 Tacotron 或 FastSpeech 这样的现代神经模型可以生成可理解的语音，但它们经常产生平板或不自然的语调，尤其是在较长的句子中。例如，句子“I didn’t say he stole the money”（我没说他偷了钱）根据强调的词不同可以传达不同的含义，但许多 TTS 系统在没有明确标记的情况下无法推断出正确的重音。这种局限性源于模型是在数据集的平均韵律模式上训练的，缺乏动态适应上下文或说话者意图的能力。研究人员正在探索注入上下文感知的方法（例如，利用语义或句法线索），但这些方法通常需要标注数据或难以泛化的复杂架构。
其次，处理罕见词、同形异义词或多语种文本仍然是一个挑战。TTS 系统通常依赖于发音词典或字素转音素模型，这些模型对于词汇表外的术语（例如，“ChatGPT”被读成“chat-G-P-T”而不是“chat-jee-pee-tee”）或语码转换短语（例如，在同一句话中混合使用英语和西班牙语）会失效。同形异义词如“read”（过去时与现在时）也会导致错误，除非通过周围文本进行消歧。例如，如果上下文没有得到正确分析，系统可能会错误地发音“He will read the book”（他将阅读这本书）与“He read the book”（他读了这本书）。虽然一些解决方案使用外部语言模型或基于规则的后处理，但这增加了复杂性且并不普遍可靠。对统一的多语言模型或更好地将语言知识集成到神经网络中的研究正在进行中，但尚未完成。
第三，计算效率和可扩展性限制了实际部署。高质量的神经 TTS 模型，如自回归或基于扩散的模型，通常需要大量的 GPU 内存和推理时间，这使得它们不适用于边缘设备或低延迟应用。例如，实时生成一分钟语音可能需要一个 10 GB 的模型，这对于移动应用来说是不可行的。此外，支持多种语言或声音通常需要训练单独的模型，增加了存储和维护成本。虽然模型剪枝或知识蒸馏等技术有所帮助，但它们通常会降低输出质量。研究人员正在探索轻量级架构（例如，非自回归模型）和跨语言迁移学习，但在速度、大小和自然度之间仍然存在权衡。这些局限性突显了 TTS 研究中需要更高效的算法和硬件感知优化。