主题
如何识别与处理异常值?
问题
有几个观测远离大多数样本,删掉以后拟合分数变好。这些点该修正、删除还是保留?
快速回答
先标记再追查来源。能证实录入或单位错误时,按原始记录纠正。确认是真实极端事件时,根据任务保留并考虑稳健方法。证据不足时,保留标记并对比两套合理处理的结果。
原因解释
统计上罕见的值可能正是要解决的事件。暴雨日客流骤减,可能帮助解释预测失效。身高录成 170 米有明确的口径异常。同一个数值平时可接受,在另一季节、设备或年龄组可能超出合理范围,所以整体分布只能提供线索。
处理建议
- 先检查单位、范围、原始测量和时间顺序。绘制分组箱线图、时序图与关键变量散点图,查找孤立尖峰和成段变化。
- 在组内可用四分位距作初筛。若
,标记低于 或高于 的记录,再核对其成因。 - 根据任务选择纠正、稳健回归、变换或保留原值。若低估峰值的代价高,要单独汇报这些记录上的误差。
- 用相同的数据切分对照处理前后的主指标、系数和方案排序。记录每条更改的依据。
特殊情况
发生设备更换、政策变化或季节切换时,异常可能持续成段。按分界点检查前后分布,评估模型是否需要分别拟合。若异常就是待检测目标,数据清洗时须保留经确认的异常事件标签。
常见误区
直接删除箱线图之外的所有观测。用测试集残差倒推哪些数据需要删除,容易把错误集中移出评估范围。