信息检索 (IR) 评估中的混淆矩阵是一个表格，它通过比较系统的预测结果与实际相关性判断来帮助衡量系统的性能。它将预测分为四个类别：真阳性（正确检索到的相关项目）、假阳性（错误检索到的不相关项目）、真阴性（正确忽略的不相关项目）和假阴性（系统遗漏的相关项目）。该矩阵提供了一种结构化的方式来计算精确率、召回率和准确率等指标，这些指标量化了检索系统在返回相关结果的同时避免不相关结果的能力。 对于开发人员来说，它是诊断排名算法或过滤机制中的优势和劣势的基础工具。
矩阵的四个组成部分直接映射到现实世界的检索场景。 例如，想象一个搜索引擎查询“Python 机器学习教程”。 当系统正确返回高质量的教程时，就会出现真阳性 (TP)。 假阳性 (FP) 可能是与机器学习无关的关于 Python 语法的博客文章。 假阴性 (FN) 可能是系统未能充分排名的相关教程，而真阴性 (TN) 代表从结果中正确排除的不相关内容（例如，新闻文章）。 实际上，由于大型数据集（如网络）中不相关项目的总数非常庞大，因此 TN 通常在 IR 中被忽略，从而使 TN 计数变得不切实际。 相反，开发人员专注于 TP、FP 和 FN 来计算精确率 (TP / (TP + FP)) 和召回率 (TP / (TP + FN))，这优先考虑系统显示有用内容和避免遗漏的能力。
开发人员使用混淆矩阵来改进检索系统。 例如，如果一个系统具有高召回率但低精确率（例如，返回许多相关结果，但也有太多不相关结果），则调整诸如提高查询特定术语或调整排名阈值等措施可能会有所帮助。 相反，低召回率表明系统正在遗漏相关项目，这可能会促使诸如扩展同义词列表或改进文本分析等更改。 一个具体的例子：一个电影推荐引擎对一个用户有 100 部相关电影，可能会检索到 50 部，其中 30 部实际上是相关的 (TP=30, FP=20)。 遗漏的 70 部相关电影 (FN=70) 表明召回率很差 (30/100 = 30%)，而精确率为 30/50 = 60%。 通过分析这些差距，开发人员可以优先考虑修复——例如，整合用户反馈信号——以更好地将系统的输出与真实数据对齐。