主题
如何检查时间序列中的未来信息泄漏?
给每次预测确定时间边界
记录预测起点
在整条管线中追踪时间
- 核对滞后和滚动特征。 表中每一行标明预测起点及目标时间,检查分组排序、
shift方向和窗口端点。若行日期是待预测的当天,而且预测发布于当天观测之前,计算七日均值应先滞后一日。居中滑动、反向填补、双向插值可能跨越起点,须替换成能在线进行的处理。 - 核对拼接的数据版本。 用当时已发布的外部数据版本进行时间对齐,确认修订值和最终结算数据不会提前进入训练样本。例如预测用气量可以使用当时获得的天气预报,事后的实际天气应只用于明确标记的对照实验。
- 逐折拟合预处理。 按时间划分训练和验证,每折独立估计填补值、尺度和特征筛选规则。训练样本的目标需在该折训练截止时已可获得。若标签覆盖多个未来时点,按标签覆盖范围与发布延迟确定是否要在训练和验证之间留出间隔。
- 按部署方式模拟多步预测。 若在周一一次发出未来七天的预测,递推时周二的真实销量还未知,应该输入此前的模型预测或使用直接多步模型。每天更新后再做的一步预测应另外评估,因为它可获得更多当日以前的观测。
怎样验证修复
随机选一个预测起点,把更晚才出现的数据和版本暂时移除,重新生成该起点的特征与预测。加入未来记录后,它们应保持不变。若两次输出不同,追踪第一个变化的列或拟合步骤。修复后用滚动起点回测,并与同样只使用当时可得信息的基线比较。