多说话人文本转语音 (TTS) 系统使用单个模型生成多种不同的声音。这些系统在包含来自各种说话人的音频样本的数据集上进行训练，每个样本都标有说话人身份。核心架构通常包括文本编码器、声学模型和声码器等组件，并辅以用于结合说话人特定特征的机制。例如，像 VITS（通过对抗学习进行端到端文本转语音的变分推理）这样的模型可能会使用说话人嵌入（表示语音特征的数字向量）来调节合成过程。在训练过程中，模型学习将这些嵌入与音高、音色和说话风格等声乐特征相关联，从而通过切换使用的嵌入来生成不同声音的语音。
为了处理多个说话人，该系统通常采用说话人编码器或查找表。查找表将说话人 ID 映射到嵌入，这些嵌入与文本输入一起馈送到模型中。更高级的方法使用单独的神经网络直接从音频样本中导出说话人嵌入，从而允许零样本适应未见过的声音。例如，像 YourTTS 这样的模型只需几秒钟的参考音频，即可通过从样本中提取嵌入来模仿新说话人的声音。这些嵌入会修改声学模型的行为，调整解码器或注意力层中的参数，以使输出与目标说话人的特征对齐。像自适应层归一化 (AdaLN) 这样的技术也被使用，其中说话人嵌入缩放并移动层激活，以改变声乐属性，而无需更改模型的核心权重。
实现多说话人 TTS 需要仔细的设计选择。像 ESPnet 或 Coqui TTS 这样的开源框架为训练此类系统提供了模块化管道。开发人员可以首先将说话人嵌入层添加到基线 TTS 模型（例如，Tacotron 2），然后在像 LibriTTS 或 VCTK 这样的多说话人数据集上对其进行训练。挑战包括确保语音一致性（避免混合来自不同说话人的特征）以及管理某些说话人的样本较少时的数据不平衡。训练期间的梯度裁剪或加权抽样等解决方案可以提供帮助。对于部署，运行时效率至关重要；优化说话人嵌入查找或使用像 WaveGlow 这样的轻量级声码器可确保实时性能。实际应用包括具有角色声音的有声读物旁白或个性化语音助手，其中系统选择说话人 ID 或从用户的语音样本中计算嵌入以生成定制的输出。