主题
模型损失函数出现 NaN 或无穷大怎么办?
固定发生错误的批次
记录第一次异常的迭代号、样本标识和训练配置。分别检查输入及标签、前向输出、逐样本损失、反向梯度、更新后的参数是否有限,并停在第一个异常值。首批立刻失败与训练数步后失败往往需要检查不同环节。用全局替换把 NaN 改成零,会掩盖产生异常的运算。
按第一个异常值排查
- 输入或标签异常。 检查原始数据缺失、单位换算溢出、标准化除零和目标的有效范围。逐列统计非有限值,并按任务语义决定补值、删行或修正源记录。遇到全被掩码的批次,核对为什么没有可参与计算的样本,避免对空集合求均值。
- 前向输出异常。 检查
log的参数、平方根的定义域、分母的零点,以及exp是否溢出。存在真实零值时,选择与零值机制一致的变换。采用极小量稳定计算前,确认它与数据尺度匹配,并测量结果对这个量的敏感性。 - 损失异常。 检查类别索引、权重和单位。在分类交叉熵中,优先用接受 logits 的稳定实现。以分数
和 为例,直接取指数容易溢出,按最大分数平移后用 和 计算,概率保持不变。再次确认损失函数需要的是 logits 还是概率,避免重复变换。 - 梯度或更新异常。 记录各层梯度范数与参数变化。异常出现在更新时,可以先降低步长、统一输入量级,并用较高精度复跑以判断混合精度是否相关。梯度裁剪可以控制离群更新,仍应继续定位梯度为何突然变大。
怎样验证修复
在原故障批次上复跑,检查前向、损失、梯度和更新全部有限。再从相同初始条件运行到超过原故障迭代,查看训练与验证趋势。对于边界值多的任务,额外用真实可出现的全零、极大值或空掩码样本做独立检查,确认损失仍有明确含义。