Skip to content

如何划分训练集、验证集和测试集? ​

问题 ​

应该按 8:1:1 随机拆数据吗?如果同一患者有多次记录,或者验证的是下个月的预测,怎么划分?

快速回答 ​

训练集用于拟合,验证集用于选模型和阈值,测试集用于评估最后定下的方案。让切分方式模拟将来的使用场景。未来预测按时间划分,新主体预测按主体划分,普通独立样本才适合随机划分。

原因解释 ​

随机切分默认各行可以独立交换。假设每个患者有多张图,随机按图划分可能让同一患者出现在两侧,模型因此获得了部署到新患者时得不到的信息。时间数据若混入未来的标签或特征统计量,也会使验证分数偏高。

处理建议 ​

  1. 写清最终预测对象和当时可用的字段。按设备、用户、事件或时间点选择切分单位。
  2. 先封存测试集。分类数据在独立且无时间依赖时可分层抽样,并核对每组各类数量。用验证集或训练数据内部的交叉验证选模型。
  3. 在每轮训练内估计填补、缩放、编码和特征选择规则。检查划分前后的重复记录、主体重合和时间范围。
  4. 固定最终方案,再评估测试集。例如果要预测 7 月销量,可以用 1 至 5 月拟合、6 月选模型、7 月留作最终评估。

特殊情况 ​

滑动窗口构造标签时,临近切点的训练样本可能用到验证期内的真实结果。把跨过切点的训练标签窗口剔除,或按标签可用时间设置间隔。若同时面向新主体和未来时点,划分要同时约束主体与时间。

常见误区 ​

把 8:1:1 当成固定规则。多次看测试分数后更换特征或阈值,会让测试集承担验证功能,最终报告需用独立数据重新评估。

双语言实验:训练集更好,验证集却更差 ​

把 y=2x+1 当作模拟机制。七个训练点叠加固定测量扰动,四个验证位置和四个测试位置各自独立。每次只用训练集拟合,再用验证集比较一次、三次、六次多项式。

训练集只有七个互异位置,六次多项式能插值通过这七点,因此训练 MSE 近乎零。该自由度也吸收了观测噪声,验证误差可以升高。脚本先用验证 MSE 选出一次模型,然后用它算测试 MSE。测试分数属于已选模型。

Python 使用 NumPy 与 Matplotlib,运行 python mmf_validation.py。MATLAB 基础版保存同名文件后输入 mmf_validation。Python 的 Vandermonde 矩阵列从零次幂起排,MATLAB 用隐式扩展构造同序幂次列。图中实点是训练观测,叉号是验证观测,观察三条曲线在哪些区间偏离最多。

在训练集中拟合均值和过两点的直线,在验证集按 MSE 比较。均值训练误差为 1,验证误差为 0;直线虽然完全拟合训练点,却输在验证集。

最简版依赖 Python:无第三方依赖。MATLAB:基础功能,无需额外工具箱。

在源码所在目录运行 python mmf_min_validation.py

py
import json
train_x, train_y = [0, 2], [0, 2]
val_x, val_y = [3, 4], [1, 1]
# 两个候选都从训练集估计参数:均值基线及通过两训练点的直线。
center = sum(train_y) / len(train_y)
slope = (train_y[1] - train_y[0]) / (train_x[1] - train_x[0])
intercept = train_y[0] - slope * train_x[0]
models = [(0, center), (slope, intercept)]


def mse(x, y, model):
    a, b = model
    return sum((a * value + b - truth) ** 2 for value, truth in zip(x, y)) / len(y)


train_error = [mse(train_x, train_y, model) for model in models]
val_error = [mse(val_x, val_y, model) for model in models]
assert train_error == [1, 0] and val_error == [0, 6.5]
result = {"train_mse": train_error, "val_mse": val_error, "model_id": val_error.index(min(val_error)) + 1}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))
下载当前源码

下载 Python 源码 · 下载 MATLAB 源码

练习与解析

如果把测试点也用来选择次数,会发生什么?当多次查看测试分数并据此调参,最后报告的是对这组已被利用的数据的表现,容易过于乐观。实际时间序列应按时间先后切分,填补缺失与标准化参数也只从训练窗口拟合。

关联文章 ​

MathModel FAQ · 数学建模知识库