Skip to content

训练集表现很好,测试集表现很差怎么办? ​

先判断差距出现在哪里 ​

训练成绩好、测试成绩差,只能说明两者的表现有差距。先确认使用相同的指标、单位和预测模式。例如训练集上的误差用的是标准化目标,测试集上的误差用的是原值,两者需要还原到同一尺度才能比较。分类任务还应核对正类定义与决策阈值。

按顺序排查 ​

  1. 核对数据切分与部署场景。 同一用户、站点或设备记录重复出现时,按对象分组。要预测未来就按时间切分。检查训练和测试的特征范围、类别比例、缺失率和标签口径,找出差距集中的群组。新区域成绩骤降时,先用留区域验证确认迁移难度,再考虑补充相似样本或调整适用范围。
  2. 检查预处理和特征可用时间。 每个训练折单独拟合填补、标准化、降维和特征筛选,再把对应转换应用到验证折。删掉事后才有的标签代理。修复后训练分数也可能下降,因为原先的分数含有不应使用的信息。
  3. 比较简单基线和复杂度曲线。 在同一切分下比较不同树深、正则强度或特征集合。如果复杂度提高后,训练误差继续下降而验证误差开始上升,就有证据支持过拟合。可限制树深和叶节点样本量、增强正则化、减少冗余特征,或用验证集早停。
  4. 按样本量判断补数据是否值得。 在固定验证集上增加训练量,画出训练和验证误差。如果两者逐步靠拢且验证误差仍下降,补充具有代表性的样本有望继续改善;如果误差主要来自特定时段或对象,优先覆盖这些场景。

怎样验证修复 ​

例如深度为 20 的树训练 MAE 为 2、验证 MAE 为 12,深度为 5 的树分别为 5 和 8。同一验证方案下,可以优先考虑浅树。选定方案后,在未参与调参的测试集上与基线比较,并报告不同折、时段或人群的误差波动。若只缩小了训练与测试的差距,测试误差却没有改善,修复尚未达到目标。

关联文章 ​

MathModel FAQ · 数学建模知识库