有几种预训练模型可用于音频搜索应用，每种模型都旨在处理音频处理的不同方面。这些模型通常专注于生成音频嵌入、语音转文本或跨模态检索等任务。流行的选项包括 VGGish、Wav2Vec、Whisper 和 CLAP。由 Google 开发的 VGGish 从音频频谱图生成紧凑的嵌入，使其适用于相似性搜索。Meta 的 Wav2Vec 及其变体（例如 Wav2Vec 2.0）是在原始音频上训练的自监督模型，擅长语音识别任务。OpenAI 的 Whisper 扩展了这一点，支持多语言并具有强大的噪声容忍能力。CLAP（对比语言-音频预训练）通过在配对数据上训练，将文本和音频链接起来，实现跨模态搜索（例如，查找与文本查询匹配的音频剪辑）。
为了实现音频搜索，开发人员通常使用这些模型将音频转换为可搜索的表示。例如，VGGish 嵌入可以在像 FAISS 这样的向量数据库中进行索引，从而实现快速相似性搜索。Whisper 将口语内容转录为文本，然后可以使用传统的文本搜索引擎（如 Elasticsearch）进行处理。CLAP 的双编码器架构允许直接比较文本查询和音频嵌入，从而实现根据自然语言描述查找音效等场景。实际应用包括通过哼唱识别音乐曲目（使用 VGGish 嵌入）或通过转录的关键词搜索播客节目（使用 Whisper）。这些模型减少了手动特征工程的需求，因为它们能够从原始音频数据中捕获高级模式。
开发人员可以通过开源库访问这些模型。TensorFlow Hub 托管 VGGish，而 Hugging Face Transformers 提供 Wav2Vec 2.0、Whisper 和 CLAP 的实现。对于可伸缩部署，Annoy 或 FAISS 等工具可以优化向量搜索性能。对于特定领域的任务，通常需要进行微调——例如，调整 Whisper 用于医学术语或调整 CLAP 用于小众音频流派。Google 的 AudioSet 或 Spotify 的 ANN 搜索等 API 展示了实际的集成。选择模型时，考虑延迟（Whisper 较大但更准确）、语言支持（CLAP 处理多语言文本查询）以及硬件限制（Wav2Vec 2.0 可以通过量化在边缘设备上运行）等因素。结合这些模型——例如，使用 Whisper 进行转录，使用 CLAP 进行跨模态检索——可以创建强大的混合搜索系统。