大模型训练过程中Loss突然变成NaN或Inf是GPU服务器租用项目里最棘手的异常之一。GPU算力平台资源本身可能完全正常真正原因可能来自脏数据、学习率、混合精度溢出或自定义算子。一、问题背景深度学习训练存在长链路数据预处理、前向计算、损失函数、反向传播、优化器更新任一环节出现非有限值都会向后扩散。若只降低学习率可能暂时隐藏问题却无法解释为何同一批次反复失败。到了推理部署阶段异常权重还可能输出无效概率。因此AI算力平台上的训练任务应建立可重复的NaN定位流程。二、环境准备准备可复现的训练脚本、固定随机种子、最近一次正常检查点和小规模样本。先在独立分支排查不要覆盖原权重。importrandom,numpyasnp,torch seed2026random.seed(seed)np.random.seed(seed)torch.manual_seed(seed)torch.cuda.manual_seed_all(seed)同时记录代码提交号、镜像Digest、GPU型号、框架版本和启动参数。三、实操步骤1. 确认首次异常位置在损失计算后立即检查ifnottorch.isfinite(loss):print(bad loss,step,loss.detach().cpu())raiseRuntimeError(non-finite loss)不要继续执行优化器更新否则错误参数会写入后续检查点。2. 检查输入与标签defcheck_tensor(name,x):iftorch.is_tensor(x):asserttorch.isfinite(x).all(),f{name}has NaN/Infprint(name,x.dtype,x.min().item(),x.max().item())check_tensor(input,batch[input])check_tensor(label,batch[label])保存问题样本索引和预处理参数避免记录敏感原始数据。分类任务还需确认标签是否越界回归任务应关注极端值。3. 打开异常检测withtorch.autograd.detect_anomaly():loss.backward()它会降低速度和增加内存只适合最小复现不建议在完整训练中长期启用。根据堆栈定位第一个产生非有限梯度的算子。4. 统计梯度范围forname,pinmodel.named_parameters():ifp.gradisNone:continueifnottorch.isfinite(p.grad).all():print(bad grad:,name)breakprint(name,p.grad.norm().item())如果梯度范数持续增大可尝试梯度裁剪但应先确认损失函数、数据尺度和学习率是否合理。5. 核对混合精度流程使用AMP时应通过GradScaler处理缩放scaler.scale(loss).backward()scaler.unscale_(optimizer)torch.nn.utils.clip_grad_norm_(model.parameters(),1.0)scaler.step(optimizer)scaler.update()optimizer.zero_grad(set_to_noneTrue)裁剪前要先unscale_。若关闭AMP后错误消失继续检查不稳定算子和精度转换而不是永久退回低效率配置。6. 回放问题批次将异常批次单独保存为脱敏后的最小测试输入从最近正常检查点重复运行。逐步关闭数据增强、自定义算子和复杂损失项找出最小触发条件。7. 验证修复效果用相同种子、相同批次和相同参数运行多次记录Loss、梯度范数和显存。大模型训练修复不能只看“跑过一个step”还应覆盖足够窗口并验证检查点可加载。四、常见问题与解决方案1. 降低学习率后不再NaN这说明更新幅度可能参与触发但仍需检查数据尺度、损失函数和梯度变化不能直接结束排查。2. 只有AMP模式报错定位对低精度敏感的算子检查GradScaler使用顺序并对必要计算局部使用更高精度。3. 每次异常批次不同检查随机增强、并发数据加载、未固定种子和非确定性算子同时保存样本索引。4. 恢复检查点后立即NaN检查该检查点是否已包含异常参数并回退到更早的正常版本。五、总结NaN排查要从首次异常入手依次验证输入、前向结果、梯度、AMP和问题批次。建立可回放样例比盲目改参数更有效也能保护深度学习实验与推理部署的结果可靠性。FAQQ1梯度裁剪能彻底解决NaN吗不能它只能限制梯度范数无法修复脏数据或错误算子。Q2detect_anomaly为什么不建议长期开启它会显著降低训练速度并增加资源消耗适合调试阶段。Q3出现NaN后还能继续保存检查点吗不建议应停止更新并保留最近正常检查点及异常批次信息。Q4需要更换GPU吗先完成软件和数据排查只有结合硬件日志发现异常时才进入设备诊断。