主题
为什么需要基线模型?
问题
主模型已经给出了误差和图表,为什么报告里还要放一个简单模型或现有规则作对照?
快速回答
基线提供同一任务下的最低比较起点,也能告诉读者新模型比现有做法多解决了什么。基线可以来自训练数据的常数估计、朴素时序规则或正在使用的业务方案。所有方案用同一批评估样本和可用信息比较。
原因解释
误差要结合场景衡量。假设日销量预测的 MAE 为 7 件,同期限用上周同日销量预测的 MAE 为 8 件,新方法只多减少了约 1 件的平均绝对误差。若现有人工预测的 MAE 为 6 件,新方法还需要说明它是否在工时、应急响应或其他明确目标上提供收益。
处理建议
- 给所选指标配一个合理起点。回归可用训练样本中位数,时序可用最近值或季节朴素规则,分类可用多数类规则展示准确率的基本水平。
- 条件允许时加入已有方案作第二个对照。优化题可与当前可行调度或简单启发式方案比较,同时检查约束是否满足。
- 固定切分、主指标、可用信息和执行预算。报告基线与主模型的原始数值,并检查哪些日期、人群或场景改善了。
- 若总体带来的改善很小或不稳定,比较不同场景的差异以及训练、部署和维护成本,再决定是否替换原方案。
特殊情况
实际已有方案的执行日志缺失时,可按公开的操作规则重建对照。应写明哪些输入在历史上可用,哪些步骤依赖近似,并据此限定比较结论。
常见误区
选择一个明显偏弱的对照来放大改进。把使用未来数据的人工计划与当时只能用历史记录的模型直接比较,也会造成不公平的结论。