Skip to content

模型损失函数出现 NaN 或无穷大怎么办? ​

固定发生错误的批次 ​

记录第一次异常的迭代号、样本标识和训练配置。分别检查输入及标签、前向输出、逐样本损失、反向梯度、更新后的参数是否有限,并停在第一个异常值。首批立刻失败与训练数步后失败往往需要检查不同环节。用全局替换把 NaN 改成零,会掩盖产生异常的运算。

按第一个异常值排查 ​

  1. 输入或标签异常。 检查原始数据缺失、单位换算溢出、标准化除零和目标的有效范围。逐列统计非有限值,并按任务语义决定补值、删行或修正源记录。遇到全被掩码的批次,核对为什么没有可参与计算的样本,避免对空集合求均值。
  2. 前向输出异常。 检查 log 的参数、平方根的定义域、分母的零点,以及 exp 是否溢出。存在真实零值时,选择与零值机制一致的变换。采用极小量稳定计算前,确认它与数据尺度匹配,并测量结果对这个量的敏感性。
  3. 损失异常。 检查类别索引、权重和单位。在分类交叉熵中,优先用接受 logits 的稳定实现。以分数 1000 和 999 为例,直接取指数容易溢出,按最大分数平移后用 0 和 −1 计算,概率保持不变。再次确认损失函数需要的是 logits 还是概率,避免重复变换。
  4. 梯度或更新异常。 记录各层梯度范数与参数变化。异常出现在更新时,可以先降低步长、统一输入量级,并用较高精度复跑以判断混合精度是否相关。梯度裁剪可以控制离群更新,仍应继续定位梯度为何突然变大。

怎样验证修复 ​

在原故障批次上复跑,检查前向、损失、梯度和更新全部有限。再从相同初始条件运行到超过原故障迭代,查看训练与验证趋势。对于边界值多的任务,额外用真实可出现的全零、极大值或空掩码样本做独立检查,确认损失仍有明确含义。

关联文章 ​

MathModel FAQ · 数学建模知识库