Skip to content

标准化与归一化如何选择? ​

问题 ​

模型输入有米、万元和百分比。什么时候用 Z-score 标准化,什么时候把数值缩放到 [0,1]?

快速回答 ​

基于距离或带正则项的模型,常从 Z-score 标准化开始。公式或接口对输入区间有明确约定时,可用最小—最大缩放。少量极端值主导均值、标准差或极差时,考虑以训练集的中位数和四分位距进行稳健缩放。

原因解释 ​

欧氏距离按每个维度的原始数值计算。若面积差 100、比例只差 0.1,面积项会主导平方距离。Z-score 用 z=(x−μ)/σ 调整均值和尺度。最小—最大缩放用 z=(x−a)/(b−a) 把训练范围 [a,b] 映射到 [0,1]。两者都可能受极端值影响。

处理建议 ​

  1. 先统一同一变量的物理单位。对 K-means、SVM 和带正则的回归等模型,检查原始特征范围,再用同一划分比较缩放方案。
  2. 用训练折估计并保存缩放参数,再变换对应验证折。最终用训练数据拟合变换,并以同一组参数处理测试和新输入。
  3. 检查标准差、极差或四分位距为零的列。确认系常量列后可移除,或按下游公式的规则处理并记录。

特殊情况 ​

测试值高于训练最大值时,最小—最大缩放可以得到大于 1 的值。若下游要求截断,需记录截断比例并检查分布漂移。树模型主要按单列值的顺序切分,通常可直接使用原始尺度。

常见误区 ​

把标准化理解成让数据服从正态分布。按训练集和测试集各自的极值缩放,也会让同一个原始取值对应不同数值。

为什么尺度会改变模型? ​

设待分组点为 (0,0),另两个观测为 (1,3)、(2,1)。欧氏距离平方分别为 10 和 5,第二点更近。若第一列由千米换成米,保持第二列数值不变,距离平方变为 1,000,009 和 4,000,001,第一点更近。仅换计量单位就改了最近的观测。选距离前,应说明每列的一个单位对任务意味着什么。

在 KNN 与 K-means 中,尺度直接影响距离和分组;在带 L2 的模型中,同样的系数惩罚作用在不同尺度的输入上,会隐含不同的约束。普通树的数值阈值通常只依赖排序。严格递增的变换保留顺序,分组划分常可保持,具体实现仍可能受浮点精度与近似分箱影响。K-means 轨迹实验 · KNN 实验

关联文章 ​

MathModel FAQ · 数学建模知识库