为了衡量文本到语音 (TTS) 输出的可理解性，开发者使用主观评估、客观指标和混合方法。 每种方法都处理语音合成的清晰度和准确度如何被听众感知或被系统分析的不同方面。 这些技术有助于识别诸如发音错误、不自然的语速或降低可理解性的音频伪像等问题。
主观评估依赖于人类听众来评价或转录 TTS 输出。 常见的测试包括诊断押韵测试 (DRT)，听众区分听起来相似的单词（例如，“bat”与“pat”），以及平均意见得分 (MOS)，它以等级（例如，1-5）来评价语音质量。 诸如 Amazon Mechanical Turk 之类的众包平台通常用于高效地收集大量的听众样本。 但是，这些测试需要仔细设计以避免偏差，例如使用随机提示或过滤低质量的回复。 例如，开发者可能会要求 100 名参与者转录 20 个 TTS 生成的句子，然后计算正确理解的单词的百分比。 虽然主观方法很耗时，但它们提供了对人类感知的直接洞察，而自动化工具可能会错过这些洞察。
客观指标使用算法来量化可理解性，而无需人工干预。词错误率 (WER) 将 TTS 输出的自动语音识别 (ASR) 转录与原始文本进行比较，从而标记不匹配项。低于 10% 的 WER 通常被认为是可接受的。诸如 Mozilla DeepSpeech 或 Whisper 之类的工具可以自动执行此过程。另一个指标是语音传输指数 (STI)，它通过测量信号保留频段的效果来分析声音的清晰度。 开发者还可以检查语音对齐——检查合成的音素（例如，“cat”中的 /k/）是否与预期的持续时间匹配。 但是，客观方法有局限性：ASR 系统可能难以处理带口音的语音，而诸如 STI 之类的声学指标不会考虑上下文的语言理解。
混合方法结合了主观数据和客观数据。 例如，开发者可以使用 WER 来标记有问题的句子，然后对这些样本运行有针对性的人工评估。 诸如 Google 的TTS 评估工具包之类的工具将基于 ASR 的指标与韵律分析（例如，音高轮廓）集成在一起，以识别不自然的语调。 另一个例子是训练机器学习模型以使用来自 TTS 输出的声学特征（例如，梅尔频率倒谱系数）来预测 MOS 分数。 这些混合方法平衡了可扩展性和准确性，从而可以在 TTS 模型训练期间进行迭代测试。 例如，一个团队可能会在其 CI/CD 管道中自动执行 WER 检查，同时保留每月的人工评估以进行关键更新。 这种分层方法可确保技术严谨性并与用户体验保持一致。