Skip to content

如何选择回归模型的评价指标? ​

问题 ​

一个报价模型在 MAE 上更好,另一个在 RMSE 上更好。论文里该以哪个指标作为选模依据?

快速回答 ​

如果每增加一个单位误差的成本近似相同,优先用平均绝对误差 MAE。若大误差需要额外惩罚,可用均方根误差 RMSE。如果高估和低估的成本不同,直接按这两类错误的实际代价计算平均损失。R2 可补充描述相对常数参照的平方误差表现。

原因解释 ​

MAE 和 RMSE 与目标变量单位相同,便于解释。若三次预测的绝对误差为 2、2、8,MAE 为 4,RMSE 为 24≈4.90。最大误差平方后占比更高。测试集上的 R2=1−SSE/SST 也可能为负,表示模型的平方误差总和超过用该测试集真实值均值给出常数预测时的误差。

处理建议 ​

  1. 根据题意预先确定主指标与单位,保留一个反映尾部误差或方向偏差的辅助指标。
  2. 所有候选使用相同测试样本和量纲。目标做过对数或缩放时,先将预测值变回原单位,再算需要向业务解释的误差。
  3. 按目标范围、地区或任务难度拆分误差,并绘制残差图。若高估与低估会触发不同决策,分别统计这两类错误。
  4. 与训练均值或中位数给出的基线比较。使用 MAE 时可选训练中位数,使用平方损失时可选训练均值。

用 Python 复算上面的假设误差,可以直接看出两种聚合方式的差别。

python
from math import sqrt
from statistics import mean

# 每个元素是一条样本的误差,最后一个最大。
errors = [2, 2, 8]
mae = mean(abs(error) for error in errors)
# 先平方再平均会放大较大误差;开方后恢复原量纲。
rmse = sqrt(mean(error**2 for error in errors))
print(f"MAE={mae:.2f}, RMSE={rmse:.2f}")  # MAE=4.00, RMSE=4.90

特殊情况 ​

真实值接近零时,逐样本百分比误差很容易放大,等于零时普通 MAPE 无定义。若测试目标是常量,常规定义下的 R2 分母为零,可以改报绝对误差,并注明测试目标的取值范围。

常见误区 ​

训练集上的 R2 很高就断定模型可以外推。用一个平均误差掩盖某个关键区间持续低估,也可能让模型在实际决策中失效。

关联文章 ​

MathModel FAQ · 数学建模知识库