音高变换和时间伸缩通过改变机器学习模型用于模式识别的关键声学特征来影响音频搜索训练。 音频搜索系统通常使用嵌入（音频内容的紧凑表示）来比较剪辑之间的相似性。 当音高或速度被修改时，这些嵌入可能会以模型未经过训练处理的方式发生变化，从而降低搜索准确性。 例如，在未修改的音频上训练的模型可能难以识别加速 20% 或移至更高音调的歌曲，因为这些转换会扭曲模型与原始内容相关的频谱和时间模式。
音高变换直接影响频率分量。 例如，提高录音的音高会增加主导频率，从而改变频谱轮廓。 未经受过此类变化的训练的模型可能会将这些移位的特征错误地解释为全新的内容。 同时，时间伸缩会改变音频的持续时间而不影响音高，这会影响时间关系。 鸟鸣声延长到两倍的长度可能不再与模型期望的短而急促的模式对齐。 这对于卷积神经网络 (CNN) 或转换器等分析局部时频关系的架构尤其成问题。 如果在训练期间不使用拉伸/音高样本进行增强，则模型在遇到现实世界变化时的泛化能力会降低。
为了缓解这些问题，开发人员通常将音高变换和时间伸缩合并到训练数据增强中。 例如，在训练期间对音频样本应用随机音高变换（±3 个半音）和速度变化（±10%）有助于模型学习不变表示。 LibROSA 或 TensorFlow 的音频模块等工具可以自动执行这些转换。 然而，过度增强有稀释原始信号的风险——过度的音高变化可能会使钢琴曲听起来像不同的乐器。 平衡增强强度与预期的现实世界可变性至关重要。 在包含转换音频的验证集上测试模型的准确性可确保稳健性，而不会牺牲未修改数据的性能。