音频数据集的数据增强涉及修改现有的音频记录以创建新的变体，从而帮助机器学习模型更好地泛化。常见的技术包括添加噪声、改变音调或速度、改变时间伸缩以及应用背景声音。这些修改模拟了模型可能遇到的真实世界的变化，例如不同的语速、背景噪声或麦克风质量。例如，添加高斯噪声可以模拟较差的录音条件，而时间伸缩可以模拟更快或更慢的语音模式。目标是在不收集新录音的情况下，人为地扩展数据集的多样性。
实施音频增强通常使用 Librosa、TensorFlow 等库，或 Audiomentations 等专用工具。例如，在 Python 中使用 Librosa，您可以使用 librosa.effects.pitch_shift 应用音调偏移，或使用 librosa.effects.time_stretch 应用时间伸缩。对于训练期间的实时增强，TensorFlow 的 tf.data 管道等框架允许进行动态修改。一个简单的例子：加载一个音频文件，应用一个随机的音调偏移（±2 个半音），并混合来自单独文件的背景噪声。像 Audiomentations 这样的工具通过提供预构建的转换（例如，AddBackgroundNoise 或 PitchShift）来简化这一点，这些转换可以链接在一起。始终确保在训练期间动态应用增强，以最大限度地提高每个 epoch 的可变性。
关键的考虑因素包括平衡增强强度和保持标签完整性。对于语音识别，过度的音调偏移可能会扭曲音素，导致标签不正确。同样，添加过多的噪声可能会使音频无法使用。从细微的更改（例如，5% 的速度变化）开始，并测试它们对模型性能的影响。特定于领域的增强很重要：对于环境声音分类，时间掩蔽（使随机间隔静音）可能会有所帮助，而声乐数据则更多地受益于混响或房间模拟。始终通过听取子集来验证增强样本，以确保它们是合理的。最后，将增强与对未增强数据的适当验证相结合，以避免过度拟合到人为变化。