异常值是与数据集的其余部分显著不同的数据点，会扭曲分析或模型性能。识别它们通常涉及统计方法、可视化或特定领域的规则。最常见的方法包括使用 Z-score 或 四分位距 (IQR) 等度量。例如，Z-score 计算一个点与平均值的标准差有多少，超出 ±3 的值通常会被标记。 IQR 方法将异常值定义为低于 Q1 − 1.5×IQR 或高于 Q3 + 1.5×IQR 的值，其中 Q1 和 Q3 是第一和第三四分位数。Python 的 SciPy 或 pandas 库等工具简化了这些计算，使开发人员可以应用 zscore() 或 quantile() 函数来过滤异常。 箱线图或散点图等可视化也有助于快速发现异常值 - 例如，时间序列中的突然峰值或散点图中远离集群的点。
方法的选择取决于数据的分布和上下文。 如果数据大致呈正态分布，则 Z-score 效果良好。 对于偏斜数据，IQR 更稳健。 领域知识也发挥作用。 假设您正在分析网站响应时间：如果大多数请求需要 0.5-2 秒，则 10 秒这样的值可能是异常值，但此阈值可能会根据预期的服务器性能而有所不同。 同样，在欺诈检测中，远高于用户历史模式的交易金额可能会触发警报。 隔离森林或 DBSCAN 等机器学习模型可以自动检测高维数据中的异常值，但它们需要调整。 例如，隔离森林通过随机拆分特征来隔离异常，假设异常值更容易分离。
一旦识别出来，开发人员必须决定如何处理异常值。 删除它们很常见，但有丢失有效信息的风险。 例如，在中等气候下，温度传感器读数为 -50°C 可能是错误，可以删除。 但是，在医疗数据中，极端的血压值可能表明值得调查的危急情况。 替代方法包括 winsorizing（限制极端值）或转换数据（例如，对数缩放）。 始终验证处理异常值对分析或模型的影响 - 例如，检查删除后模型准确性是否提高。 Jupyter Notebook 等工具或 Seaborn 等库简化了此迭代过程，使开发人员可以透明地测试假设和记录决策。