BEIR（信息检索基准测试）是一个标准化的框架，旨在评估搜索和检索算法在不同任务和数据集上的有效性。它提供了一系列数据集，每个数据集代表不同类型的信息检索场景，例如问答、事实核查或文档搜索。BEIR 的主要目标是衡量检索模型对它没有明确训练过的任务的泛化能力，这对于评估现实世界的适用性至关重要。开发人员和研究人员使用 BEIR 通过在同一组任务上测试模型来公平地比较模型，从而确保结果可重现且可以在研究之间进行比较。
BEIR 的使用方法是将检索模型通过其数据集套件运行，并使用诸如 nDCG（归一化折损累计增益）、recall@k 或 MAP（平均精度均值）等指标来衡量性能。例如，开发人员可能会在 BEIR 的数据集上测试诸如 Sentence-BERT 之类的密集检索模型与诸如 BM25 之类的传统基于关键字的方法。BEIR 中的每个数据集都包括查询、相关文档以及用于训练/测试的预定义拆分，从而允许在零样本设置中评估模型 - 这意味着它们没有在正在测试的特定数据集上进行微调。此设置模仿了模型必须在未见过的数据上表现良好的现实场景。通过汇总跨数据集的结果，BEIR 提供了模型优势和劣势的整体视图，例如，它是否能更好地处理技术术语（例如，在科学论文中）或会话查询。
BEIR 的一个关键特性是它的多样性。例如，它包括诸如 BioASQ（生物医学问答）、TREC-COVID（疫情期间的科学搜索）和 HotpotQA（多跳推理）之类的数据集。每个数据集都以独特的方式挑战模型：BioASQ 测试特定领域的知识，而 HotpotQA 需要连接多个文档中的信息。开发人员可以使用这些基准来识别其模型中的差距 - 例如，检索器可能在 FEVER 中的事实检查任务中遇到困难，但在 MS MARCO 中的常规网络搜索中表现出色。通过分析性能变化，团队可以优先考虑改进，例如增强模型处理否定或长尾查询的能力。BEIR 的标准化评估过程还减少了设置自定义基准的开销，使开发人员可以专注于模型优化而不是数据准备。