Skip to content

为什么线性回归常用最小二乘? ​

问题 ​

预测与实测之间已经有残差,为什么通常对残差平方后求和?

快速回答 ​

平方使正负误差都贡献损失,较大的误差会受到更重的惩罚。其可导性也让经典线性模型可以通过线性代数求解。选择平方损失的前提是这种惩罚方式适合任务。

原因解释 ​

先把问题缩小到用一个常量 a 拟合三个观测 2,3,10。平方损失 J(a)=∑i(yi−a)2 的导数为 2(3a−15),令导数为零得 a=5。用绝对损失 ∑i|yi−a| 时,中位数 a=3 最优。观测 10 对平方损失的影响更大,把最优常量往右拉。带截距的线性模型将同一思想应用到随 x 变化的预测。

独立同方差高斯误差假设下,最小化平方和也得到最大似然估计。这个统计解释依赖误差分布假设;直接把平方和作为预测目标时,仍可以检验它是否符合项目要求。

处理建议 ​

试跑最小二乘双语言实验。先预测哪一行残差最大,再用图核对。把其中一个训练用电观测改大一些,比较斜率与留出 MAE 的变化。

特殊情况 ​

异常观测可能是真实的风险事件,也可能是记录错误。用 Huber 或绝对损失比较结果,同时核对数据来源。若不同观测的测量精度差异明显,可在有依据时做加权最小二乘。

常见误区 ​

只看训练误差判断预测能力。看见残差正负抵消就忽略偏差结构。把平方误差的单位误读成原始单位,或者未经解释就把回归关系当作因果。

关联文章 ​

MathModel FAQ · 数学建模知识库