主题
特征之间高度相关怎么办?
问题
两个特征几乎一起变化,回归后其中一个系数变号。需要删除一个变量,还是可以保留?
快速回答
要解释各变量的独立作用时,先核对它们的定义与来源,再考虑择一、按机制合成或改用能识别不同作用的数据。主要做预测时,可以比较减少特征、正则化与降维后的验证误差,并检查新场景下的稳定性。
原因解释
当多个特征同时升降,模型很难单独识别哪一个与结果有关。比如同一温度同时以摄氏和华氏两列输入,它们有确定的线性换算关系,普通最小二乘无法唯一分配两列系数。若多列只是近似相关,样本稍有改变就可能让系数显著变化。
处理建议
- 查单位、计算公式、特征时间戳和可用时点,优先识别重复编码、派生指标和可能泄漏目标的变量。
- 用相关矩阵找候选组合。线性模型可补查方差膨胀因子
,其中 来自用其他特征拟合第 个特征。 - 解释优先时,保留测量更可靠或最符合题意的变量。预测优先时,可在训练折比较岭回归、较少特征和 PCA,再用相同验证折复查。
- 比较各折的系数方向和预测误差,并记录部署时需要获取哪些特征。
特殊情况
成分比例之和固定时,带截距的线性模型可采用参考成分编码,解释时注明对照随比例调整的含义。树模型可以使用相关特征预测,但单列的重要性可能被它的替代特征分摊。
常见误区
只凭两两相关系数就排除所有共线性,会漏掉某一列由多列组合近似得到的情况。标准化能改变尺度,线性依赖关系依旧存在。