有几个数据集被广泛用于对音频搜索算法进行基准测试，每个数据集都有不同的用例和技术挑战。常见的选择包括 AudioSet、Freesound、MUSAN、UrbanSound8K、LibriSpeech 和 GTZAN Genre Collection。这些数据集在大小、音频类型（例如，音乐、语音、环境声音）和标注质量方面各不相同，使其适用于在不同条件下测试算法。例如，AudioSet 提供了大量已标注的 YouTube 剪辑集，而 LibriSpeech 则专注于用于语音搜索的纯净语音。开发者通常根据其目标应用选择数据集，例如音乐检索、语音查询匹配或环境声音检测。
AudioSet 因其规模和多样性而成为通用音频搜索的流行选择。它包含超过200万个10秒长的 YouTube 剪辑，标有632个分层类别，涵盖了乐器、动物和人类活动等声音。此数据集对于测试需要处理真实世界录音中嘈杂或重叠声音的算法非常有用。另一个关键数据集 Freesound 提供了用户上传的、带有元数据的音频片段，这有助于评估依赖社区驱动标签的系统。对于专注于语音的搜索，LibriSpeech 提供了来自有声读物的1,000小时朗读英文语音，非常适合在受控环境中测试语音查询的准确性。MUSAN 将合成噪声和音乐添加到纯净语音数据中，从而能够测试算法对背景干扰的鲁棒性。
专业用例通常需要定制的数据集。例如，UrbanSound8K 包含8,732个标注为10个类别的短城市环境剪辑（例如，警报声、钻孔声），对于训练模型检测特定的现实世界声音很有用。GTZAN Genre Collection 尽管规模较小（1,000个30秒长的音乐曲目），但仍然是音乐流派分类和检索的基准。开发者还使用合成数据集，如 DCASE（声学场景和事件检测与分类）挑战赛，其中包含多通道录音和复杂的声学场景。在评估音频搜索算法时，会针对这些数据集测量平均精度均值 (mAP)、召回率和查询延迟等指标，以评估精度、速度和可伸缩性之间的性能权衡。选择合适的数据集取决于具体问题，例如处理环境噪声、扩展到大型目录或支持多语言查询。