Skip to content

如何评价时间序列预测效果? ​

问题 ​

要预测未来 7 天需求。怎么验证模型在当时真正能做出的预测,怎样区分短期和长期误差?

快速回答 ​

按时间回测。在多个历史截止点上,只用当时已知的数据拟合,分别预测后续 1 至 7 天。按预测步长报告误差,用相同日期和步长与持平预测或按周期重复的朴素预测比较。

原因解释 ​

上线时一次发出未来 7 天的结果,第 7 天预测不能使用前 6 天的真实需求。若验证时每天读入新观测再预测次日,测到的是另一种更新模式。误差还可能集中在节假日或高峰期,整体平均会掩盖这些时段的差异。

处理建议 ​

  1. 确定预测频率、模型多久更新一次,以及能够提前获得的外生变量。回测沿用同样的更新节奏。
  2. 在多个历史窗口记录预测起点、目标日期、步长和真实值。日数据有明显周周期时,可用该目标星期最近一次已观测的用量作季节基线。
  3. 用 MAE 汇报误差的实际单位,按步长和关键时段汇总。若低估会导致缺货,补报低估次数和缺口大小。
  4. 若交付预测区间,同时报告实际覆盖率与区间宽度,确认区间既能覆盖目标比例的结果,也具有决策价值。

特殊情况 ​

销量常为零时,MAPE 会遇到零分母和极小分母。可报告原单位的 MAE,或使用按训练段朴素预测误差缩放的 MASE。算 MASE 时,需要检查参照误差是否为零,并说明使用的季节周期。

常见误区 ​

随机拆分打乱顺序后再算测试误差。用未来真实天气作为回测输入,会把当时只能通过天气预报获得的信息误计为已知。

关联文章 ​

MathModel FAQ · 数学建模知识库