Skip to content

如何判断一个模型是否可靠? ​

从用途定义可靠性 ​

可靠性要对应具体条件和后果。预测自行车租借需求时,平常误差小与高峰期少缺车是两项不同证据。用于课堂演示的模型可以先检查数学关系和手算结果,用于日常调度的模型还需评估可用数据、部署时延和错误成本。把判断标准写在测试之前,可减少事后挑选有利指标的空间。

四类常用证据 ​

  1. 实现核对。 用手算小例子、零输入和极端值核验程序。优化结果代回全部原约束,核对整数性和目标值。仿真检查守恒关系,并比较步长或重复运行带来的数值差异。
  2. 样本外检验。 按真实使用方式留出数据。未来预测按时间留后,同一对象的重复记录可按对象分组。所有缩放、筛选和调参应在训练和验证流程内完成。
  3. 可比基线。 复杂模型和基线使用相同数据范围、验证窗口和指标。除整体分数外,记录表现最差的时段、对象或情景,并检查这些情况的决策后果。
  4. 适用范围和复现。 改动最敏感的假设与输入,检查结论是否反转。保留数据版本、切分、参数和复核记录,验证他人能恢复同一结论。

不同问题有各自证据。聚类可以重抽样检查分组稳定性,再用原始特征解释每一组。多指标排序可以检查尺度、权重变化和指标重复。求解器返回最优状态只针对输入的数学问题,仍要核对业务规则是否正确写入。

一个验证结果怎样解读 ​

假设在同一段历史回放中,基线和新模型的平均绝对误差分别为 12 与 10 辆。新模型平均有所改善,但在最繁忙的 5 个早高峰里,分别低估 3 次和 5 次。若部署目标是控制是否缺车,先定义可接受的低估幅度与频率,再检查更多独立高峰日期、估计误差差异的波动范围。研究报告应同时呈现总体改善和高峰代价。

适用结论

收集到新校区、异常天气或不同学期的数据后,把它们和已有测试区分开。使用同一规则分别汇报结果,便于看出模型需要在哪里重新校准。

关联文章 ​

MathModel FAQ · 数学建模知识库