文本转语音 (TTS) 系统的质量通常通过客观指标和主观人为判断的组合来评估。这些指标帮助开发人员评估合成语音听起来有多自然、清晰和准确。常见方法包括测量声学特性、进行听众调查以及利用受语音识别或神经网络启发的自动化工具。每种方法都有其优缺点，结合多种技术通常可以提供最可靠的评估。
客观指标侧重于合成语音和参考语音之间可量化的比较。例如，梅尔倒谱失真 (MCD) 计算频谱特征（如梅尔频率倒谱系数）的差异，以衡量 TTS 输出与人类录音的匹配程度。信噪比 (SNR) 测量背景噪声水平，而短时客观可懂度 (STOI) 预测语音在嘈杂环境中的可理解程度。像 Praat 这样的工具分析音高 (F0) 和时序错误，例如抖动或未对齐的音素持续时间。但是，这些指标通常无法捕捉到诸如自然度或情感表达之类的细微差别。例如，TTS 系统可能获得较低的 MCD 分数，但由于不自然的韵律或节奏，听起来仍然像机器人。
主观评估依赖于人类听众来评估自然度、清晰度和总体偏好等质量。平均意见得分 (MOS) 是一个标准的 5 分制量表（1：差，5：优秀），取多个评估者的平均值。比较平均意见得分 (CMOS) 直接比较两个系统（例如，“哪个听起来更自然：A 还是 B？”），从而减少个人偏差。对于高风险评估，使用 MUSHRA（带有隐藏参考和锚的 MUltiple 刺激）测试，听众将样本与隐藏的参考录音进行排名。这些方法耗时且昂贵，但仍然是捕捉感知质量的黄金标准。为了解决可扩展性问题，一些团队使用基于神经的指标，如 SpeechLM 或 ASR（自动语音识别）字错误率，这些指标使用预训练模型将 TTS 输出与人类判断相关联。例如，ASR 转录中的低字错误率表明高可懂度，尽管它没有考虑自然度。
在实践中，方法的组合是理想的。客观指标在开发过程中提供快速反馈，而主观测试验证用户体验。新兴的神经指标通过自动化感知评估来弥合差距，但它们需要大型数据集进行训练。开发人员应优先考虑与其用例相符的指标——例如，辅助工具的可懂度指标与语音助手的自然度分数。