主题
标准化与归一化如何选择?
问题
模型输入有米、万元和百分比。什么时候用 Z-score 标准化,什么时候把数值缩放到
快速回答
基于距离或带正则项的模型,常从 Z-score 标准化开始。公式或接口对输入区间有明确约定时,可用最小—最大缩放。少量极端值主导均值、标准差或极差时,考虑以训练集的中位数和四分位距进行稳健缩放。
原因解释
欧氏距离按每个维度的原始数值计算。若面积差 100、比例只差 0.1,面积项会主导平方距离。Z-score 用
处理建议
- 先统一同一变量的物理单位。对 K-means、SVM 和带正则的回归等模型,检查原始特征范围,再用同一划分比较缩放方案。
- 用训练折估计并保存缩放参数,再变换对应验证折。最终用训练数据拟合变换,并以同一组参数处理测试和新输入。
- 检查标准差、极差或四分位距为零的列。确认系常量列后可移除,或按下游公式的规则处理并记录。
特殊情况
测试值高于训练最大值时,最小—最大缩放可以得到大于 1 的值。若下游要求截断,需记录截断比例并检查分布漂移。树模型主要按单列值的顺序切分,通常可直接使用原始尺度。
常见误区
把标准化理解成让数据服从正态分布。按训练集和测试集各自的极值缩放,也会让同一个原始取值对应不同数值。
为什么尺度会改变模型?
设待分组点为
在 KNN 与 K-means 中,尺度直接影响距离和分组;在带