语音识别中的特征工程涉及将原始音频信号转换为结构化、有意义的表示，以便机器学习模型可以有效地处理。原始形式的语音数据（波形样本）非常复杂，包含相关信息（如口语单词）和不相关的噪声（如背景声音）的混合。特征工程通过提取捕获语言内容并降低计算复杂度的模式来简化此数据。例如，与处理每秒数千个音频样本不同，诸如梅尔频率倒谱系数 (MFCC) 或频谱图之类的特征将数据压缩成紧凑的形式，突出显示音高、音调和音素级别的细节。此步骤至关重要，因为它弥合了原始音频和需要结构化输入才能有效学习的模型之间的差距。
特征工程的一个关键作用是强调与识别最相关的语音方面。例如，MFCC 通过关注人耳更敏感的频率范围来模仿人类听觉感知。同样，频谱图可视化音频频率如何随时间变化，帮助模型识别音素（不同的声音单元）以及它们之间的转换。诸如 delta 和 delta-delta 特征之类的技术通过捕获这些值在连续帧中的变化来添加时间上下文，从而提高了口语单词的识别率。此外，诸如均值-方差归一化或倒谱均值减法之类的归一化步骤有助于标准化不同说话者或录音环境中的特征。如果没有这些工程化的特征，模型将难以处理语音速度、口音或背景噪声的变化。
虽然现代深度学习模型（例如，CNN 或 transformers）可以自动从原始音频中学习特征，但特征工程对于优化性能和效率仍然具有重要意义。例如，log-mel 滤波器组（MFCC 的简化版本）仍然被广泛用作神经网络的输入，因为与原始波形相比，它们降低了计算负载。在资源受限的应用程序（如嵌入式设备）中，预先计算的特征降低了内存和处理要求。特征工程还在专门的任务中发挥作用：检测语音中的情感可能需要工程化的韵律特征（音高、能量），显式模型可以利用这些特征。即使模型以端到端的方式学习特征，了解传统技术也有助于通过隔离问题是源于数据预处理还是模型架构来调试问题（例如，嘈杂数据上的性能不佳）。