Skip to content

如何识别与处理异常值? ​

问题 ​

有几个观测远离大多数样本,删掉以后拟合分数变好。这些点该修正、删除还是保留?

快速回答 ​

先标记再追查来源。能证实录入或单位错误时,按原始记录纠正。确认是真实极端事件时,根据任务保留并考虑稳健方法。证据不足时,保留标记并对比两套合理处理的结果。

原因解释 ​

统计上罕见的值可能正是要解决的事件。暴雨日客流骤减,可能帮助解释预测失效。身高录成 170 米有明确的口径异常。同一个数值平时可接受,在另一季节、设备或年龄组可能超出合理范围,所以整体分布只能提供线索。

处理建议 ​

  1. 先检查单位、范围、原始测量和时间顺序。绘制分组箱线图、时序图与关键变量散点图,查找孤立尖峰和成段变化。
  2. 在组内可用四分位距作初筛。若 IQR=Q3−Q1,标记低于 Q1−1.5IQR 或高于 Q3+1.5IQR 的记录,再核对其成因。
  3. 根据任务选择纠正、稳健回归、变换或保留原值。若低估峰值的代价高,要单独汇报这些记录上的误差。
  4. 用相同的数据切分对照处理前后的主指标、系数和方案排序。记录每条更改的依据。

特殊情况 ​

发生设备更换、政策变化或季节切换时,异常可能持续成段。按分界点检查前后分布,评估模型是否需要分别拟合。若异常就是待检测目标,数据清洗时须保留经确认的异常事件标签。

常见误区 ​

直接删除箱线图之外的所有观测。用测试集残差倒推哪些数据需要删除,容易把错误集中移出评估范围。

关联文章 ​

MathModel FAQ · 数学建模知识库