语音克隆是使用机器学习创建人类声音的合成复制品的过程。 在文本转语音 (TTS) 系统中，它能够生成模仿特定人员声音特征（如音高、音调和节奏）的语音音频。 这是通过在目标语音的音频样本上训练模型来实现的，通常结合诸如迁移学习之类的技术来减少所需的数据量。 结果是 TTS 系统可以产生与原始说话者无法区分的语音，即使是他们从未实际录制过的短语也是如此。
语音克隆在TTS中的一种常见应用是个性化用户体验。 例如，可以自定义虚拟助手或导航系统以用户首选的声音（例如名人或家庭成员的声音）说话。 在媒体制作中，克隆的声音可以简化配音或画外音工作——想象一下纪录片旁白的声音被改编成多种语言，而无需重新录音。 可访问性是另一个关键用例：由于疾病而丧失说话能力的人可以使用克隆版本的原始声音来用于通信设备。 像 Descript 或 Resemble.ai 这样的公司提供 API，使开发人员可以使用预训练模型或自定义语音数据集，以最少的代码将这些功能集成到应用程序中。
从技术角度来看，语音克隆通常涉及三个步骤。 首先，收集和预处理目标语音的数据集（例如，消除噪声、分割音频）。 接下来，训练神经网络架构（例如 Tacotron 2、VITS 或 FastSpeech 2）以将文本输入映射到声学特征（如梅尔频谱图）。 最后，声码器（例如 WaveGlow 或 HiFi-GAN）将这些特征转换为原始音频。 现代方法通常使用说话者嵌入或适配器，仅用几分钟的音频即可克隆声音，从而利用预训练的多说话者 TTS 模型。 挑战包括保持情感表达和避免伪影，开发人员通过诸如韵律建模或对抗训练之类的技术来解决这些问题。 诸如 Coqui TTS 或 NVIDIA 的 NeMo 之类的开源工具提供了用于试验这些组件的模块化框架。