最近帮人调一个图像分类网络结构不复杂几层卷积加全连接但训练 loss 落到某个平台期后怎么都不肯再降。查来查去根子出在归一化层的设置上——batch size 变小之后Batch Normalization 的统计估计开始失真把整个训练带偏了。这件事让我把深度学习神经网络里绕不开的归一化问题从头到尾重新捋了一遍所以有了这篇梳理专门聊聊归一化神经网络。无论你是刚开始看神经网络还是已经写了两年训练脚本这篇都值得抽出半小时慢慢读。1. 为什么神经网络一深、一优化就“水土不服”归一化要解决的三个核心问题很多人把归一化当成一种“加了就更稳”的玄学技巧好像谁都在用但问一句“它到底解决了什么问题”能答上来的人并不多。其实归一化不是为提速而生的花活它在早期是决定深层网络能不能收敛的关键。要理解后面那些五花八门的变体得先回到问题本身。1.1 层与层之间的内协变量偏移想象一支接力队每一棒拿到的接力棒大小都不一样第一棒拿的是 0 到 1 的细棍第二棒拿到的是 0 到 1000 的粗柱第三棒又变成 -5 到 5 的刻度尺。那这个队伍不用跑光是换棒就乱套了。神经网络层间传播也是同一个道理。网络每一层的输入是上一层输出的函数而上一层参数不断更新它输出的分布就会持续变化。对当前层来说它面对的输入分布每过几步就换一副面孔得不断地重新适应。这个现象在经典论文里被称为 internal covariate shift也就是“内协变量偏移”。虽然后来的研究逐渐证明Batch Normalization 的优越性并不完全来自“消除内协变量偏移”这个解释但作为一个入门理解框架它依然是最直观的入口。归一化要做的就是给每一层的输入“定个标准刻度”均值拉到 0 附近方差固定到某个可控范围。这样无论前一层怎么折腾后一层看到的输入分布都相对稳定。训练自然就稳下来了。1.2 激活函数的饱和区与神经元死亡没有归一化的时候还有一个更直接的问题激活函数会进入饱和区或者干脆死掉。以 sigmoid、tanh 这类函数为例它们的输入端如果落在绝对值很大的区间导数会趋近于 0。梯度从输出端一路反传回来经过这个饱和区域就几乎被“吞光”了。前面的网络层收不到有效梯度训练就变成空转。就算换成 ReLU也有隐患——如果某层输出整体偏移到负区间ReLU 会把大部分负值截成 0梯度也会跟着变 0神经元直接“罢工”。这就是常说的 dead ReLU。把激活前的输入分布归一化到均值 0、标准差可控的范围能保证大多数输入落在激活函数的敏感区间梯度不至于一开始就被削没。可以说归一化是在给激活函数“喂”一个它最容易消化吸收的输入尺度。1.3 学习率选择的困境与优化景观的形状第三个问题藏得深一点但调参的时候感受特别明显没有归一化的网络学习率特别难选。调小了收敛慢如蜗牛调大了 loss 直接发散感觉永远找不到那个“刚刚好”的点。原因是各层输出的尺度不一致时损失函数的曲面在不同方向上的曲率差异巨大。有些方向特别陡有些方向特别平缓。SGD 只用一个学习率去更新所有参数相当于穿着一双尺码固定的鞋既要爬陡坡又要走平路很难兼顾。归一化能让损失景观变“圆润”一些至少让各个方向的尺度更均衡。经典的经验是加了 Batch Normalization 之后学习率往往可以放大 5 到 10 倍而不会崩。这不是玄学而是归一化让梯度的变化范围变得可控优化器更容易找到合适步长。理解了这一点你就能明白为什么很多训练技巧讨论里第一步永远是“先把归一化配置搞对”。2. 归一化到底归了什么四种主流方法的数学定义与直观理解搞清楚“为什么归一化”之后下一步是“归一化什么”。同样是做标准化Batch Normalization、Layer Normalization、Instance Normalization、Group Normalization 的统计轴完全不同。很多人在这一步踩坑是因为只记住了 API 的调用方式没搞明白它内部究竟沿着哪个维度在统计。2.1 Batch Normalization跨样本、同通道的统计归一Batch Normalization也就是常说的 BN操作对象是一整个 batch 的中间特征。在卷积网络里一个特征张量通常是四维的(N, C, H, W)N 是 batch sizeC 是通道数H 和 W 是特征图的高宽。BN 做的事情是对第 c 个通道把所有样本、所有位置上的数值拉在一起算一个均值和方差然后做标准化。公式可以写成y gamma * (x - mu_b) / sqrt(sigma_b^2 epsilon) betamu_b 和 sigma_b 是当前 batch 的统计数据gamma 和 beta 是可学习参数每个通道一组epsilon 是防止分母为 0 的小常数一般取 1e-5。gamma 初始化为 1beta 初始化为 0也就是说网络一开始先“照单全收”标准化后的分布然后再自己学要不要缩放和平移。BN 最大的特点是强依赖 batch size。统计量是从当前 batch 里估出来的batch 越小估计越不准。这个特性在后面的实践章节还会反复提到。2.2 Layer Normalization单样本内全特征归一的 Transformer 标配Layer NormalizationLN统计轴换了方向。它不再跨样本而是对单个样本内部的所有特征做归一化。在最常见的 Transformer 结构里是对每个 token 的 hidden 维求均值和方差。为什么 NLP 场景几乎清一色用 LN因为序列任务里样本长度经常不一样batch 里各样本能处理的信息量也不同而且推理时输入可能是一个一个来的batch size 等于 1。如果用 BN统计量根本不稳定。LN 不依赖 batch输入多长都能稳定工作训练和推理行为一致不需要维护额外的全局统计量。代价是 LN 对单个样本内部的分布做了一个较强的假设它认为同一个样本不同特征维之间的相对关系可以压平。在大多数序列任务里这个假设是成立的而且效果好得惊人所以如今几乎所有主流语言模型都默认叠 LN。2.3 Instance Normalization 与 Group Normalization风格化与小 batch 的答案Instance NormalizationIN比 LN 更“狠”它只对单个样本、单个通道做归一化。在图像生成、风格迁移任务里IN 的表现往往比 BN 好。原因是这类任务里图像的全局对比度和颜色信息经常是风格的一部分不应该被保留在内容特征里。IN 把每个通道的均值和方差都强制归一化相当于抹掉了对比度信息让网络集中精力学结构特征因此成了风格迁移的标配。Group NormalizationGN是 IN 和 LN 之间的一种折中。它把通道分成若干组在每组内部做归一化既不需要 batch又保留了一定的通道间相关性。典型设置是分成 32 组。GN 是在“batch size 很小BN 失效”的背景下火的。当显存只允许跑 batch size 2 甚至 batch size 1 的时候BN 的统计量会剧烈抖动而 GN 几乎不受影响。这个特性让它在分割、检测等吃显存的任务里特别受欢迎。2.4 四种方法横向对比统计维度、参数与适用场景方法归一化轴是否依赖 batch训练/推理一致性典型适用场景BN跨样本按通道统计 (N,H,W)是不一致推理用 running statsCNNs 图像分类、目标检测LN单个样本内部全部特征否一致Transformer、RNN、NLP 任务IN单个样本、单个通道否一致风格迁移、图像生成GN单个样本、通道分组内否一致小 batch 的视觉任务、视频理解这里所说的“维度”指的是统计均值方差时沿着哪些位置做聚合不是在说线性代数里的向量维度。BN 沿着“同通道的所有样本位置”聚合LN 沿着“同一样本的所有特征位置”聚合IN 是“同一样本同通道”聚合GN 则折中为“同一样本通道组内”聚合。选哪一种本质上是选择“你相信哪些位置之间应该共享同一个分布”。3. 训练前向、反向与推理归一化层那些容易忽略的细节归一化的很多坑不在前向公式里而在训练和推理的“行为差异”里。尤其 BN一套逻辑在训练状态跑另一套逻辑在推理状态跑稍不留意就翻车。3.1 训练期与推理期的行为差异running statistics 的秘密训练时BN 用的是当前 batch 的均值和方差这是“活”的统计量每步都在变。但推理时你不可能依赖未来样本所以 BN 内部维护了一组 running_mean 和 running_var用训练过程中的统计量做移动平均推理时直接用这组固定值。这里就藏着一个经典失误模型训练完直接拿去推理忘了切换 model.eval() 模式。训练模式下 BN 仍然用当前 batch 的统计量导致单张图推理时 BN 实际是在用“一个样本的均值方差”做标准化输出结果可想而知。我自己就见过有人花了一整天才排查出来原来是测试脚本里少了一行 eval() 切换。running stats 的更新公式也值得看一眼running_mean (1 - momentum) * running_mean momentum * mu_b running_var (1 - momentum) * running_var momentum * sigma_bmomentum 默认常见值是 0.1 或 0.01代表新 batch 统计量有多大权重进来。这个值不是调参重点但知道它存在至少不会懵。LN、IN、GN 没有 running stats 这套东西训练和推理行为一致所以从工程角度讲它们比 BN 更好伺候。3.2 归一化层对梯度流动的缩放效果很多人以为归一化只影响前向不影响反向。实际上它最重要的作用之一发生在反向传播里。看 BN 的公式前向里有除以标准差这一步反向传播梯度时这个因子会以类似 1 / sqrt(sigma^2 epsilon) 的形式作用到梯度上相当于给梯度做了一次动态缩放。这意味着什么当某一层输出的方差比较大时归一化会把前向信号压回正常尺度同时反向梯度的量级也被限制住不会突然大爆发。当方差比较小时梯度又不会被过分压缩。这种“自平衡”机制正是 BN 能让训练大幅稳定的核心原因之一也是它能解锁更大学习率的底层逻辑。理解这一点后再看到有人说“归一化就是减均值除方差”时你就知道那只是皮毛。真正有价值的是它对整个优化过程的梯度尺度调节。3.3 一个可以直接复现的 PyTorch 对比实验为了直观感受归一化对训练的影响可以跑一个最简单的多层感知机对比。同一个网络结构分别用带 BatchNorm1d 和不带归一化的版本在同一学习率下训练import torch import torch.nn as nn import torch.nn.functional as F class SimpleMLP(nn.Module): def __init__(self, use_bnTrue): super().__init__() self.fc1 nn.Linear(784, 256) self.bn1 nn.BatchNorm1d(256) if use_bn else nn.Identity() self.fc2 nn.Linear(256, 128) self.bn2 nn.BatchNorm1d(128) if use_bn else nn.Identity() self.fc3 nn.Linear(128, 10) def forward(self, x): x x.view(x.size(0), -1) x F.relu(self.bn1(self.fc1(x))) x F.relu(self.bn2(self.fc2(x))) return self.fc3(x)你可能注意到我把 BN 放在了全连接层之后、激活函数之前。这是 BN 的通行用法对线性层的输出做归一化让激活函数接收一个分布更规整的输入。在同样的学习率、同样迭代轮数下你会看到有 BN 的版本 loss 下降更快曲线更平滑没 BN 的版本要么下降很慢要么 loss 出现明显波动。这个实验十分钟就能跑完对理解归一化远比看十篇博客实在。4. 从 CV 到 NLP 再到 GAN不同场景下的归一化选型与避坑实录归一化不是“一种方法打天下”。CV 里最好用的 BN到 NLP 里就未必生成模型里大家又偏爱 IN、AdaIN。选型不匹配轻则效果打折重则直接训崩。4.1 CNN 与 BN通道统计、batch size 与 SyncBN在卷积网络里BN 统计时是把 (N, H, W) 三个维度合在一起对每个通道单独算。也就是说通道 C 的位置上有多少个参与统计的值取决于 N × H × W。H 和 W 比较大的时候即便 batch 小一些统计量也还算稳但如果输入分辨率很低比如 CIFAR 这种 32×32 的图N 又小BN 的估计误差就会凸显出来。还有一个容易被忽略的点数据加载顺序。BN 假设一个 batch 里的样本近似独立同分布。如果你的 DataLoader 把同一个类别的图片堆在一起batch 内的统计量就严重偏向该类会让 BN 的估计产生偏差。所以在用 BN 时shuffle 不能省。多卡分布式训练时又有一层新的坑。默认情况下每张卡各自算自己的 BN 统计量卡与卡之间数据分布不完全一致会导致模型输出的语义出现偏差。这时候需要 SyncBN也就是把各卡的统计量同步后再归一化。代价是额外的通信开销但一致性会好很多。4.2 Transformer 与 NLPLayerNorm 为什么是铁打的首选Transformer 类模型里藏着一句话Norm 层基本都是 LN几乎没人用 BN。原因我在前面提过核心是序列任务的长度可变和 batch 敏感性。还有一个工程原因BN 需要维护 running stats这在模型序列化导出时多一层状态LN 不需要部署更干净。看 Transformer 的结构LN 通常放在残差块的一个特定位置要么是 post-norm要么是 pre-norm。早期 Transformer 是 post-norm后来的实践逐渐偏向 pre-norm也就是先做 LN再进注意力/前馈网络。pre-norm 的训练更稳定对学习率不那么敏感成为现代大模型的主流。如果你在自己的 Transformer 模型里试过把 LN 换成 BN大概率会发现训练很不稳而且 batch 一大一小效果忽好忽坏。这不是你的实现问题是归一化轴的选择和任务特性根本不匹配。4.3 生成模型与风格迁移InstanceNorm 和自适应归一化的特殊地位GAN、风格迁移这类生成任务对归一化的需求很不一样。图像生成网络通常希望保留局部结构信息同时又不希望网络太依赖全局对比度。IN 在这里大放异彩因为它在单个样本单通道上做归一化等于是把每张图的亮度、对比度信息标准化掉留下纹理和结构的相对关系。风格迁移里还有一个升级操作AdaIN自适应实例归一化。它不再是简单地归一化而是把内容图的归一化结果用风格图的均值和方差重新“染色”实现风格快速迁移。这个思路的核心就是把“均值和方差看成风格的载体”这个假设用到了极致。实际训练生成模型时还有一个常见误区生成器和判别器的归一化配置不一致或者随意更换导致训练动态剧烈改变。生成模型本来就脆弱动归一化层之前最好先做消融实验而不是一次改三四个地方。4.4 三个真实的踩坑经历与排查链路第一个坑训练好好的推理结果明显不对。当时的表现是训练 loss 正常下降但验证集输出全是一坨无意义的数值。排查链路是先怀疑预处理再怀疑权重加载最后发现是测试脚本没有调用 model.eval()BN 和 Dropout 的模式都不对。这个坑看起来低级但很多人都会栽一次。第二个坑batch size 从 32 减到 2loss 开始周期性地剧烈波动训练几乎不收敛。一开始以为是学习率太大了调小后波动幅度变小但收敛变慢始终找不到合适的值。后来把主要卷积层的 BN 换成 GN再把学习率调回原来的量级问题立刻缓解。从此我记住了BN 的统计量依赖 batch size不是所有模型都能无脑上 BN。第三个坑BN 是放在激活函数之前还是之后这个讨论至今还有人问。通行做法是放在线性层/卷积层之后、激活函数之前也就是 Conv-BN-ReLU 的顺序。但如果网络很深某些实现里放在激活之后也能训练只是效果通常不如前者。关键是同一个网络里所有 BN 的位置要统一不要一半在激活前、一半在激活后否则梯度流动的逻辑就乱了。5. 归一化的演化与我对它的最终理解从动态归一化到“去归一化”技术在往前走归一化也不是一成不变。搞清楚近期的一些演进方向对我们理解“归一化到底在干嘛”很有帮助。5.1 从固定归一化到可学习的动态选择既然 BN、LN、IN 各有各的适用场景那有没有可能让网络自己选这是 Switchable Normalization 这类工作的出发点。它把 BN、LN、IN 的统计量加权组合在一起权重由网络自己学习在不同任务、不同阶段自动偏向不同的归一化方式。从实验结果看它在某些视觉任务上确实比单一归一化更强尤其当数据分布比较复杂时。这个方向的启示是归一化的“统计轴”本身也可以成为可学习的对象。不要把自己局限在“某种归一化一定最好”的思维里而是思考数据和任务到底更符合哪个轴的统计假设。5.2 “去归一化”网络给了我们什么启发还有一类更激进的工作试图把归一化层整个去掉只通过精细的初始化、缩放系数和残差连接设计来稳定训练。乍一听很反直觉但它能训练得很深这让研究者重新反思深度网络训练不稳定的根源是“没有归一化”还是“信号和梯度的尺度失控”如果网络设计能让每一层的输出方差和梯度范数保持稳定那么即使不做显式的归一化训练也一样能进行。换句话说归一化只是实现尺度控制的一种手段不是目的本身。理解这个区别后我再看任何新模型时第一反应不再是“它有没有 BN”而是“它的信号尺度控制机制是什么”。这个视角的转变对我后续调模型帮助非常大。5.3 如何快速判断归一化配置合不合理踩过不少坑之后我沉淀出一套自查方法分享出来供参考。模型刚训练几十步时打印一下各层输出的均值和方差或者看梯度范数变化。如果输出均值明显偏离 0、方差忽大忽小或者梯度范数在几百步内从 1e4 跳到 1e-2那归一化配置很可能有问题。再用一个低成本消融把模型里的归一化层临时替换成另一种只改一行代码比较前几百步的 loss 曲线形态。如果差异巨大说明归一化选型不合如果差异很小说明这个问题对当前数据不敏感。这种消融比完整训练到收敛省时间得多也更容易定位问题。最后说一点个人体会。做了这么多实验最深的感受是归一化不是“锦上添花”的正则化技巧而是决定网络能不能顺利训练的地基工程。遇到奇怪的 loss 曲线、发散的梯度、怎么调学习率都没用的窘境别第一个怀疑模型结构先看看归一化对不对。很多时候问题就藏在这层看似简单的“减均值除方差”里。