Skip to content

交叉验证应该如何选择? ​

问题 ​

普通 K 折、分层 K 折、分组交叉验证和时间窗口验证有什么区别?样本少时,折数是不是越多越好?

快速回答 ​

先匹配数据的依赖结构。独立样本可用普通 K 折,类别不平衡的独立分类数据可用分层 K 折,同一主体的记录归到同一折,时序预测采用始终由过去预测未来的滚动或扩展窗口。再按各折可用样本量和计算成本选折数。

原因解释 ​

交叉验证模拟的是某个场景下训练后再遇到新数据的过程。若未来要对新店做预测,按店分组才对应这个目标。若预测已有门店的下一周,验证应按时间推进。增大折数会增加每次拟合的样本数,也会使每个验证折变小并增加计算量。

处理建议 ​

  1. 从业务对象决定折的单位。分类先数每类的独立主体或样本,检查每个验证折是否能计算主指标。
  2. 比模型时使用同一组切分。在各训练折内完成缺失处理、特征筛选、重采样和训练,再对当折验证集评分。
  3. 报告各折结果及波动,说明采用每折平均或汇总所有折外预测计算指标,并检查个别折为何失分。
  4. 如果要同时调参和估计整个选模流程的效果,可用外层评估、内层调参的嵌套交叉验证。另有独立测试集时,也可在训练部分调参后只评估一次测试集。

特殊情况 ​

独立主体很少时,可以逐一留组,但单个验证组可能只含一个类别,某些指标无法计算。可合并折外预测分析,并同时报告每组的样本数和错误数。

常见误区 ​

把各折结果的标准差直接写成均值的置信区间。训练折相互重叠,求区间时需要考虑相关性和所采用方法的假设。

关联文章 ​

MathModel FAQ · 数学建模知识库