信息检索 (IR) 中的 A/B 测试是一种比较搜索系统或算法的两个版本的方法，以基于用户行为或预定义的指标来确定哪个版本表现更好。在 IR 中，这通常涉及测试对排名算法、用户界面或检索模型的更改，方法是将用户分成两组：一组与原始系统（对照组，版本 A）交互，而另一组使用修改后的版本（实验组，版本 B）。跟踪点击率、查询成功率或结果返回时间等指标，以评估哪个版本更好地满足用户需求或业务目标。 这种方法使开发人员能够就系统改进做出数据驱动的决策。
从技术角度来看，IR 中的 A/B 测试需要仔细的实验设计。 开发人员必须随机将用户分配到各个组以避免偏差，确保两个组都足够大以实现统计意义，并控制外部因素，如一天中的时间或用户人口统计。 例如，如果一个团队修改了搜索引擎的排名函数以优先显示最近的内容，他们可能会运行一个 A/B 测试，其中 50% 的用户看到按旧算法 (A) 排序的结果，而 50% 的用户看到新版本 (B)。 记录平均点击位置或放弃率等指标，并使用统计测试（例如，t 检验）进行分析，以确定观察到的差异是否有意义。 诸如功能标志或实验平台（例如，Google Optimize）之类的工具通常用于管理流量分配和数据收集。
IR 中 A/B 测试的一个实际示例可能涉及测试一种新的查询扩展技术。 假设搜索引擎引入了一种神经模型来建议用户查询的同义词。 该团队可以衡量与使用基线系统 (A) 的用户相比，接触新模型 (B) 的用户是否点击更多结果或提交更少的后续查询。 另一个场景可能涉及测试重新设计的搜索界面：添加缩略图预览 (B) 是否比纯文本列表 (A) 增加参与度？ 开发人员还必须考虑权衡，例如在测试期间维护并行系统的成本或短期性能下降的风险。 虽然 A/B 测试提供了实际的见解，但它通常与离线评估（例如，标记数据集上的精确率/召回率）相结合，以在部署之前验证更改。