音频搜索系统中的特征提取是指将原始音频信号转换成紧凑的数值表示，以捕捉用于比较和检索的关键特征。该过程通常始于对音频进行预处理以标准化输入，例如归一化音量、重采样到一致的采样率，以及分割成短时重叠帧（例如 20-40 毫秒）。这种分帧处理有助于分析时变特征。常用技术包括梅尔频率倒谱系数 (MFCCs)，它通过将音频转换成一组代表频谱形状的系数来模拟人耳对频率的响应。例如，一段 1 秒的音频片段可能被分成 50 帧，每帧产生 13 个 MFCC，从而形成一个包含 650 个值的特征向量。声谱图是另一种方法，它使用短时傅里叶变换 (STFT) 创建时频热图来可视化能量分布。像 CNN 或 Transformer 这样的深度学习模型也可以通过处理声谱图或原始波形来生成 embedding（嵌入向量），产生编码高级模式的密集向量（例如 128 维）。
特征的选择取决于音频类型和用例。对于语音，MFCC 或基于音素的特征（如共振峰）效果很好，因为它们侧重于声道的特征。在音乐搜索中，色度特征（捕捉音高类别）或节奏描述符有助于识别旋律或节奏。环境声识别可能会使用对数梅尔声谱图，它强调感知上相关的频带。例如，鸟鸣检测系统可以使用对数梅尔特征来突出鸟类发声的独特频率范围。现代系统通常结合多种技术：音乐搜索工具可能会提取 MFCC 用于音色、色度用于和声，以及使用神经网络 embedding 用于流派。有时会应用主成分分析 (PCA) 或 t-SNE 等降维方法来简化特征，以便更快地索引，尽管这会牺牲一定的判别能力。Librosa (Python) 或 Essentia (C++) 等库提供了针对这些任务的预建函数，使开发人员能够专注于调整帧大小或梅尔滤波器数量等参数。
实际实现需要平衡准确性、速度和资源使用。MFCC 计算量小，适用于实时应用，但可能遗漏复杂声音中的细微差别。声谱图保留了更多细节，但需要更多存储空间和处理能力。深度学习 embedding 提供了最先进的性能，但训练需要 GPU，而且如果没有大型数据集可能会过拟合。例如，使用 embedding 的播客搜索引擎可以在离线时索引数小时的音频，然后在搜索期间通过余弦相似度比较查询 embedding。开发人员还必须处理背景噪声——语音活动检测或谱减法等技术可以在特征提取之前清理音频。TensorFlow Audio 或 TorchAudio 等开源工具简化了这些方法的实验，而云 API（例如 AWS Transcribe）提供了预训练的特征提取器。最终，最佳方法取决于具体问题：MFCCs 足以满足基本的语音查询，而结合传统特征和神经 embedding 的混合模型更适合于检测音频片段中的情感语调等细致任务。