主题
代码能够运行,但结果无法复现怎么办?
把差异变成能比较的数字
指定要复现的图、表或结论,记录原始数值、生成步骤、使用的数据版本和允许的误差。样本数、分组名单和约束是否满足通常可以精确检查;浮点预测值可根据输出单位和使用目的设容差。精确的输出日期不会影响数值一致性,但数据截止日期可能改变整个实验。
沿着输入到图表定位
- 锁定数据与代码。 用数据哈希或可追踪的版本号核对原文件,确认编码、日期解析、行列筛选和缺失规则,再确认代码提交、配置和运行入口。若依赖在线数据,保留允许共享的快照或记录可定位的版本及提取条件。
- 重建环境和运行顺序。 记录解释器、关键库、求解器版本与计算设备。对 Notebook 先重启内核,从头执行,检查是否依赖上次运行留下的变量。针对随机拆分、随机模型和并行计算,分别复现其设置。
- 比较中间结果找到最早偏差。 建议依次核对读取行数、训练测试索引、处理后数据、模型参数、逐样本预测和汇总表。例如报告 MAE 为 6.2,重跑得 7.1,两次模型输入已相同,就继续检查模型参数、计分样本和目标是否反变换,直到找出首处偏差。
- 让表图跟随同一次运行。 在干净的输出目录生成结果,记录产物对应的数据、配置和执行日志。图表从同一份机器生成的数据表读取,以防读到旧缓存、旧工作目录里的同名文件,或漏掉了原先的手工筛选。
怎样验证修复
在新目录按记录命令完整跑一遍,从原数据生成文章引用的关键表和图。对照预先约定的精确字段与数值容差,并核对单位与样本数量。若算法本身有可接受的随机波动,保留固定种子的对照与多次运行的结果范围;若原数据版本无法取得,应注明受影响的结论和当前能够复核的环节。