主题
训练集和测试集表现都很差怎么办?
用基线确定“差”的程度
回归可以用训练样本的均值或中位数做常数基线,预测可以用最近一次观测或季节同期值做朴素基线。训练和验证均落后于基线时,优先检查流程。两边都略优于基线,且误差仍高于任务容忍度时,再追查模型容量、特征信息和观测噪声。准确率或
从最便宜的检查开始
- 手工核对几条样本。 检查标签和特征是否因合并、排序或错位而对应到不同记录。确认损失使用正确维度、预测与真值处在同一尺度,分类概率取的是目标类。排查后挑一个小批次,暂时关闭强正则和随机增强,让一个容量充足的模型尝试拟合。如果连小批次误差都降不下来,查梯度、更新步骤、输入是否常数,以及重复特征是否对应互相冲突的标签。
- 判断训练是否充分。 查看按迭代记录的训练损失。损失仍稳定下降时可适当延长训练;损失在初期就来回跳动,先排查尺度和学习率。确认训练结束时加载的是预期的参数版本,再比较架构。
- 检查残差还有什么结构。 将残差按预测值、时间或关键变量作图。若预测销量时每逢周末都偏低,加入预测时可获得的星期信息,再同条件比较。若残差有稳定曲线,可加入有解释的非线性项或改用能表达该关系的模型。
- 检查可预测信息是否足够。 对几乎相同的输入,若真实结果反复相差很大,核实记录质量与遗漏变量。补充预测时可获得的数据,或者给出区间预测及其覆盖率。当误差主要来自不可观测因素时,增加模型容量的收益可能有限。
怎样验证修复
假设常数基线的验证 MAE 为 20,线性模型为 18,加入可提前知道的促销日特征后降到 12。用相同切分复测各时段,确认改善来自可用信息,并检查误差是否集中在少数促销日。训练误差下降、验证误差上升时,再按过拟合排查。