Skip to content

训练集和测试集表现都很差怎么办? ​

用基线确定“差”的程度 ​

回归可以用训练样本的均值或中位数做常数基线,预测可以用最近一次观测或季节同期值做朴素基线。训练和验证均落后于基线时,优先检查流程。两边都略优于基线,且误差仍高于任务容忍度时,再追查模型容量、特征信息和观测噪声。准确率或 R2 也要结合类别比例、目标波动与业务用途解释。

从最便宜的检查开始 ​

  1. 手工核对几条样本。 检查标签和特征是否因合并、排序或错位而对应到不同记录。确认损失使用正确维度、预测与真值处在同一尺度,分类概率取的是目标类。排查后挑一个小批次,暂时关闭强正则和随机增强,让一个容量充足的模型尝试拟合。如果连小批次误差都降不下来,查梯度、更新步骤、输入是否常数,以及重复特征是否对应互相冲突的标签。
  2. 判断训练是否充分。 查看按迭代记录的训练损失。损失仍稳定下降时可适当延长训练;损失在初期就来回跳动,先排查尺度和学习率。确认训练结束时加载的是预期的参数版本,再比较架构。
  3. 检查残差还有什么结构。 将残差按预测值、时间或关键变量作图。若预测销量时每逢周末都偏低,加入预测时可获得的星期信息,再同条件比较。若残差有稳定曲线,可加入有解释的非线性项或改用能表达该关系的模型。
  4. 检查可预测信息是否足够。 对几乎相同的输入,若真实结果反复相差很大,核实记录质量与遗漏变量。补充预测时可获得的数据,或者给出区间预测及其覆盖率。当误差主要来自不可观测因素时,增加模型容量的收益可能有限。

怎样验证修复 ​

假设常数基线的验证 MAE 为 20,线性模型为 18,加入可提前知道的促销日特征后降到 12。用相同切分复测各时段,确认改善来自可用信息,并检查误差是否集中在少数促销日。训练误差下降、验证误差上升时,再按过拟合排查。

关联文章 ​

MathModel FAQ · 数学建模知识库