主题
如何选择回归模型的评价指标?
问题
一个报价模型在 MAE 上更好,另一个在 RMSE 上更好。论文里该以哪个指标作为选模依据?
快速回答
如果每增加一个单位误差的成本近似相同,优先用平均绝对误差 MAE。若大误差需要额外惩罚,可用均方根误差 RMSE。如果高估和低估的成本不同,直接按这两类错误的实际代价计算平均损失。
原因解释
MAE 和 RMSE 与目标变量单位相同,便于解释。若三次预测的绝对误差为 2、2、8,MAE 为 4,RMSE 为
处理建议
- 根据题意预先确定主指标与单位,保留一个反映尾部误差或方向偏差的辅助指标。
- 所有候选使用相同测试样本和量纲。目标做过对数或缩放时,先将预测值变回原单位,再算需要向业务解释的误差。
- 按目标范围、地区或任务难度拆分误差,并绘制残差图。若高估与低估会触发不同决策,分别统计这两类错误。
- 与训练均值或中位数给出的基线比较。使用 MAE 时可选训练中位数,使用平方损失时可选训练均值。
用 Python 复算上面的假设误差,可以直接看出两种聚合方式的差别。
python
from math import sqrt
from statistics import mean
# 每个元素是一条样本的误差,最后一个最大。
errors = [2, 2, 8]
mae = mean(abs(error) for error in errors)
# 先平方再平均会放大较大误差;开方后恢复原量纲。
rmse = sqrt(mean(error**2 for error in errors))
print(f"MAE={mae:.2f}, RMSE={rmse:.2f}") # MAE=4.00, RMSE=4.90特殊情况
真实值接近零时,逐样本百分比误差很容易放大,等于零时普通 MAPE 无定义。若测试目标是常量,常规定义下的
常见误区
训练集上的