异常检测的评估结合了性能指标、验证策略和真实世界测试，以确保模型可靠地识别异常模式。 该过程侧重于平衡检测准确性与实际可用性，同时考虑到异常数据稀少的不平衡数据集。 常见的评估方法包括精确率、召回率、F1 分数和曲线下面积 (AUC) 指标，以及特定领域的验证技术。
首先，像精确率（正确识别的真实异常的比率）和召回率（检测到的实际异常的比率）这样的指标至关重要，因为异常通常是稀疏的。 例如，在网络入侵检测中，高召回率可确保捕获大多数攻击，但精确率同样重要，以避免大量误报警报让分析师不堪重负。 F1 分数将这些指标组合成一个单一值，可用于比较模型。 ROC-AUC（受试者工作特征 - 曲线下面积）衡量模型在分类阈值中区分正常实例和异常实例的能力。 但是，当异常非常罕见时，精确率-召回率曲线 (PR-AUC) 信息量更大，因为它们侧重于少数类。 例如，在信用卡欺诈检测中，PR-AUC 有助于评估欺诈交易可能不到数据 1% 的情况下的性能。
其次，评估通常涉及将数据分成训练集、验证集和测试集，同时保留时间或上下文关系。 时间序列异常（如服务器故障）需要基于时间的拆分，以避免将未来数据泄漏到训练中。 当真实世界的标记异常稀缺时，有时会使用合成数据集或注入的异常，但这会带来与真实世界模式不匹配的风险。 像分层 k 折这样的交叉验证技术有助于数据有限的场景。 此外，像随机猜测、简单统计方法（例如，基于阈值的 Z 分数）或现有算法（例如，隔离森林）这样的基线提供了基准。 例如，用于制造缺陷的新异常检测模型应该优于像移动平均偏差这样的基线，才能证明其采用的合理性。
最后，真实世界测试和领域适应至关重要。 仅靠指标可能无法捕获运营挑战，例如实时系统中的延迟或最终用户的可解释性。 检测医学成像异常的模型可能获得高 AUC 分数，但如果临床医生无法理解其决策，则会失败。 与领域专家的迭代反馈循环和监控生产中的误报率有助于改进模型。 例如，云监控工具可能会优先考虑低误报率以避免不必要的警报，即使它略微降低了召回率。 平衡技术指标与实际约束可确保异常检测系统既准确又可行。