数据分析中的异常检测是指识别与数据集的大多数数据点、模式或事件显着偏离的过程。 这些异常值通常称为离群值，可以指示错误、欺诈、系统故障或其他异常行为。 目标是标记这些违规行为以供进一步调查。 例如，网络流量的突然激增可能预示着网络攻击，而零售商店的销售额下降可能指向供应链问题。 异常值通常分为三种类型：点异常（单个不寻常的数据点）、上下文异常（在特定上下文中不正常的数据，例如夏季正常但在冬季不正常的温度读数）和集体异常（一组共同不寻常的数据点，例如重复的登录失败）。
异常检测的常用技术包括统计方法、机器学习模型和时间序列分析。 诸如 Z 分数或四分位距 (IQR) 之类的统计方法测量数据点与平均值或中值的距离。 诸如 Isolation Forest 或 One-Class SVM 之类的机器学习模型从训练数据中学习模式以检测偏差。 对于时间序列数据，诸如季节趋势分解 (STL) 或自回归模型 (ARIMA) 之类的方法可以识别时间模式中的不规则性。 例如，开发人员可能会使用 Isolation Forest 算法来监视服务器指标：该模型根据正常的 CPU 使用率数据进行训练，并标记使用率超过预期阈值的实例。 同样，基于 Z 分数的系统可以通过识别在统计上远离用户典型消费行为的购买来检测欺诈性信用卡交易。
异常检测的实际应用跨越各个行业。 在金融领域，银行使用它来发现欺诈交易。 在 IT 领域，团队会监视系统日志以检测服务器崩溃或安全漏洞。 制造系统可能会分析传感器数据以预测设备故障。 但是，挑战依然存在。 误报——被错误标记为异常的正常数据——可能会浪费资源。 异常值很少的不平衡数据集使得训练模型变得困难。 开发人员还必须在计算效率和准确性之间取得平衡，尤其是在实时系统中。 例如，实时欺诈检测系统需要低延迟但高精度。 解决方案通常涉及组合技术，例如在使用机器学习模型之前使用基于规则的过滤器来减少噪声，或者随着数据模式的演变而不断更新阈值。