主题
标准化时出现除以零怎么办?
确认分母和参与统计的样本
Z-score 标准化的分母是标准差,最小最大缩放的分母是极差。训练列 [7, 7, 7] 的两种分母都为零;一列只剩一个有效样本时,使用
按零分母的来源处理
- 训练列确为常量。 若该列只作为普通预测特征,可在训练阶段剔除,并对验证和测试使用同一列清单。若业务合同要求保留固定字段,可以显式约定该列统一映射为零,并记录这种映射会忽略新数据中的变化。零方差参数下的不同实现可能处理方式不同,应检查实际变换结果。
- 有值样本太少,或误读数据。 查源文件、连接条件和缺失规则;若训练行均为缺失,保留有效样本计数,使用事先有依据的外部尺度,或舍弃无法估计的列。不要从验证集借值来估计分母。
- 分母很小但仍为正。 检查量测精度、是否有异常值和浮点表示误差。用最小有意义变化量辅助设定近零阈值。若只加一个固定极小数,转换后可能仍放大噪声,尤其在不同单位或量测精度下。
- 只在某折或某时段出错。 检查该折训练部分的分布,尤其是罕见类别的哑变量。每折独立拟合转换;该折产生的列清单或常量处理必须一致应用到同折验证部分。
怎样验证修复
用一列正常数据、一列常量和一列缺失较多的数据检查输出是否有限,并验证正常列的顺序和数值。对保留的常量列,加入测试值 8 检查它按约定映射或触发数据漂移记录。布尔值、编码列和有固定单位的异常阈值,应在转换前后核对业务解释。