主题
为什么线性回归常用最小二乘?
问题
预测与实测之间已经有残差,为什么通常对残差平方后求和?
快速回答
平方使正负误差都贡献损失,较大的误差会受到更重的惩罚。其可导性也让经典线性模型可以通过线性代数求解。选择平方损失的前提是这种惩罚方式适合任务。
原因解释
先把问题缩小到用一个常量
独立同方差高斯误差假设下,最小化平方和也得到最大似然估计。这个统计解释依赖误差分布假设;直接把平方和作为预测目标时,仍可以检验它是否符合项目要求。
处理建议
试跑最小二乘双语言实验。先预测哪一行残差最大,再用图核对。把其中一个训练用电观测改大一些,比较斜率与留出 MAE 的变化。
特殊情况
异常观测可能是真实的风险事件,也可能是记录错误。用 Huber 或绝对损失比较结果,同时核对数据来源。若不同观测的测量精度差异明显,可在有依据时做加权最小二乘。
常见误区
只看训练误差判断预测能力。看见残差正负抵消就忽略偏差结构。把平方误差的单位误读成原始单位,或者未经解释就把回归关系当作因果。