Skip to content

缺失值应该如何处理? ​

问题 ​

表格里有空白、-999 和部分填成 0 的位置。哪些应视为缺失,填补后怎样知道模型有没有受影响?

快速回答 ​

先核对数据字典和采集流程,区分未采集、不适用、低于检测限和真实的零。对预测任务,用训练数据估计填补规则,再应用到验证和测试。处理前后比较误差、样本构成以及重要结论。

原因解释 ​

同一个空格可能来自设备故障、人工漏记或条件不满足。假设大风天更容易导致传感器断线,直接丢掉缺失行会使样本代表的天气变窄。用全体均值填补则会把极端环境下的缺口往正常水平拉,并低估该变量的不确定性。

处理建议 ​

  1. 清理占位符,分别统计各列、时段和组别的缺失比例。抽查几条原始记录,核对同一行是否有多列一起缺失。
  2. 对少量且来源近似随机的缺失,比较删除与基线填补。偏态数值列可先试训练折中位数,类别列可将业务上有意义的未知状态单列。
  3. 如使用插值,检查填补时用到的观测在实际预测时是否可得。按缺失组与完整组分别报告表现。
  4. 保留原值和缺失标记。需要比较组间差异或估计系数时,考虑多重插补,并交代其缺失机制假设。

特殊情况 ​

标签缺失与特征缺失要分别处理。缺标签的记录可用于预先声明的半监督方案,评估监督模型时需要可靠的真实标签。整段传感器停机时,应单独标注停机区间并核对是否仍可支持该时段的结论。

常见误区 ​

整张表先填补再划分,会将验证或测试分布引入训练。按固定缺失率机械删列,也可能丢掉业务上至关重要的变量。

关联文章 ​

MathModel FAQ · 数学建模知识库