最近在做目标检测模型的精度优化一直在折腾YOLOv12的Neck部分。说实话Neck这块一直是“有活干但不出彩”的位置标准的PAN-FPN结构用到现在融合是够用了但特征精炼这件事一直没被认真对待。直到我看到arXiv 2025上那篇关于分层多头注意力HMHA的工作思路是把多头注意力的头拆成多个层次子空间再配合通道重排来降低冗余。我把这套改进接到了YOLOv12的Neck上试跑了几轮实验效果比我预想中要稳尤其是小目标和重叠目标的召回率提升很直观。这篇文章就围绕这个改进把HMHA的原理、代码实现、插入Neck的位置选择、参数调节顺序和踩过的坑完整记录下来给正在做YOLOv12改进的同行一个可参考的实操版本。1. 为什么Neck是注意力改进的主战场1.1 YOLOv12 Neck的老问题融合有余精炼不足YOLOv12的Neck结构并没有完全跳出经典的双向特征金字塔框架自顶向下传递高层语义自底向上补充底层细节最后在P3、P4、P5三个尺度上输出融合特征。这套结构的核心操作就是concat和add本质上是在做“特征搬运”把不同尺度的张量拼接在一起。问题在于concat操作会直接把通道翻倍而相邻层级的语义差异又很大比如P5感受野大、偏向全局语义P3分辨率高、保留的是边缘和纹理这两类特征硬拼在一起必然产生大量冗余通道。这种冗余带来的后果是Neck里的卷积层需要花大量参数去“消化”那些重复表达而不是专注于提取互补信息。我做过一个简单实验把YOLOv12在Backbone输出的特征直接做一次通道相关性统计发现P3和P4在部分通道上的相关系数能到0.7以上也就是说相当一部分通道在重复表达相近的模式。通道一旦冗余模型的表达能力就会下降而参数量还在白白增加。这也是为什么很多人往Neck里加注意力模块但效果忽高忽低的原因——注意力组件如果不去处理通道冗余只是换个方式加权本质上还是在“搬运特征”。1.2 直接在Neck里加SE或普通MHSA为什么效果不稳定不少同学会直接往Neck里加SE模块或者普通的多头自注意力MHSA。SE模块的思路是通道维度上做全局池化然后再加权操作轻量、速度影响小但它只做了通道维度的重标定完全没有考虑空间位置上哪些区域需要被强调。在目标检测里同一张特征图上的不同位置重要性差异极大SE这种“一把尺子量所有空间位置”的做法在小目标聚集的场景里经常帮倒忙。普通MHSA则是另一个极端它确实能建模长距离依赖但代价也很明显。首先是计算量爆炸特征图分辨率稍高一点注意力矩阵的尺寸就变成N×N显存和时间都扛不住。其次是训练不稳定我在实验里发现普通多头注意力的多个头在收敛后注意力分布会趋向一致经常出现三四个头的热力图几乎一样的情况这种情况学到的特征多样性非常有限叠加到Neck的融合特征上不但没有补充新信息反而放大了原有冗余。这其实就是因为MHSA的各个头共享同一套qkv投影初始化如果没有外部约束最终会收敛到相似的解。HMHA的思路恰恰是解决这两个问题通过子空间拆分给不同头不同的尺度约束通过通道重排打破头之间的冗余关联。2. HMHA到底改了什么2.1 分层多头注意力的核心思想HMHA的全称是Hierarchical Multi-Head Attention直译过来就是分层多头注意力。它的核心做法是把原本“平级”的注意力头分成若干组每一组负责一个特征子空间。比如8个注意力头分成4组每组2个头四组分别在不同窗口范围或不同空间尺度下计算注意力。这个设计和人的视觉注意力机制有点相似人们看一张图时既会关注整体场景也会聚焦到局部细节这两件事是并行发生的。HMHA就是让一部分头负责全局建模让另一部分头负责局部细节各司其职。分层带来的直接好处是注意力多样性提升。不同组的头天然被约束在不同的感知范围里有的头只看附近几个像素有的头关联较远区域最后softmax出来的注意力分布自然就不一样。这些不同子空间的特征在拼接后进入后续卷积层相当于给网络提供了多个视角的“输入素材”特征表达的完备性会明显好于所有头都在同一个尺度上建模的方案。我用HMHA替换YOLOv12某个Neck节点里的特征融合方式后检测头拿到的特征图通道确实比之前“干净”了分类和回归分支的响应更集中。2.2 子空间拆分如何拉开不同头的表达差异子空间拆分是HMHA最核心的设计但拆法有讲究。如果只是简单分组每组仍然做全局注意力那组与组之间还是容易趋同。要让子空间真正产生差异每组必须有不同的“感知偏好”常见做法是给不同组设置不同的窗口大小或不同的下采样比例。尺度越小的组注意力范围越窄适合捕捉小目标的局部纹理尺度越大的组注意力范围越广适合建模大目标的全局上下文。我采用的配置是四组窗口分别为小、中、大、全局这样从局部到全局都有对应的头去覆盖。这个拆分方式可以类比成多镜头拍摄广角镜头负责全景长焦镜头负责局部特写多个镜头合成一条丰富度极高的视频流。具体实现时每个子空间内部仍然走标准的qkv投影和注意力计算只是在注意力矩阵上叠加一个窗口mask超出窗口范围的token一律置为负无穷softmax之后权重自然归零。这样改动的计算成本很低但表达差异非常明显。我从训练日志里统计过各头的注意力熵HMHA的四个分组头熵值差距明显拉开而普通MHSA的头熵值几乎挤在同一条水平线上。2.3 通道重排为什么能降冗余如果只做分组注意力会引入一个副作用组间信息隔离。每个子空间只在窗口内做特征的相互关联不同子空间之间缺少信息交换通道下采样或降维后这些组对应的通道会各说各话相互之间的相关性反而可能失控。HMHA借鉴了轻量网络中通道混洗的思路在分组注意力计算完之后对输出特征在head维度上做一次重排把相邻的通道打乱重组。通道重排的本质是让不同子空间的信息在下一次计算前“碰个面”。比如第1组的第1个头原本输出位置在通道0和1重排后变成和原第2组某个头相邻后续的1×1投影层就能同时看到来自不同子空间的信息从而学会跨子空间的组合模式。这个操作几乎不消耗额外参数和计算量只是一次索引重排但收益实打实。我在复现时做过对照去掉通道重排后mAP掉了0.4个百分点左右说明这个看似不起眼的操作对最终精度有实质贡献。它和ShuffleNet的channel shuffle原理一致只是HMHA将它应用在了head维度而不是卷积的group维度上。3. 把HMHA接到YOLOv12 Neck的实操过程3.1 先写一个可运行的HMHA模块下面是一个简化但可以实际跑起来的PyTorch实现包含了分组窗口mask和head维度上的通道重排。这个模块可以直接套进YOLOv12的Neck结构里输入输出都是一个统一的B×N×C张量N是特征图的H×W。为了代码清晰我把一维窗口mask作为示例实际使用时可以换成二维网格mask逻辑完全相同。import torch import torch.nn as nn import torch.nn.functional as F def make_window_mask(seq_len, window_size, device): 生成一个 (seq_len, seq_len) 的布尔mask 只保留空间位置上距离不超过 window_size 的 token 对 window_size0 代表不做窗口限制即全局注意力。 if window_size 0: return None idx torch.arange(seq_len, devicedevice) dist (idx[:, None] - idx[None, :]).abs() return dist window_size class HMHA(nn.Module): HMHA分层多头注意力 把 num_heads 个注意力头分成 num_groups 组 每组分别在自己的子空间窗口内计算注意力 输出前对 head 维度做 channel shuffle打破组间信息隔离。 def __init__(self, dim, num_heads8, num_groups4, window_sizes(3, 7, 15, 0), qkv_biasFalse, attn_drop0.0, proj_drop0.0): super().__init__() assert num_heads % num_groups 0, head数必须能被group数整除 assert len(window_sizes) num_groups self.dim dim self.num_heads num_heads self.num_groups num_groups self.heads_per_group num_heads // num_groups self.head_dim dim // num_heads self.window_sizes window_sizes self.scale self.head_dim ** -0.5 self.qkv nn.Linear(dim, dim * 3, biasqkv_bias) self.attn_drop nn.Dropout(attn_drop) self.proj nn.Linear(dim, dim) self.proj_drop nn.Dropout(proj_drop) # 在 head 粒度上做 channel shuffle # 以 8 heads、4 groups 为例 # reshape [[0,1],[2,3],[4,5],[6,7]] # 转置 [[0,2,4,6],[1,3,5,7]] # flatten [0,2,4,6,1,3,5,7] shuffle_index torch.arange(num_heads).reshape( num_groups, self.heads_per_group ).transpose(0, 1).reshape(-1) self.register_buffer(shuffle_index, shuffle_index, persistentFalse) def forward(self, x, seq_len): B, N, C x.shape qkv self.qkv(x).reshape(B, N, 3, self.num_heads, self.head_dim) qkv qkv.permute(2, 0, 3, 1, 4) # (3, B, heads, N, head_dim) q, k, v qkv.unbind(0) attn (q k.transpose(-2, -1)) * self.scale # (B, heads, N, N) # 按group施加不同的窗口mask实现子空间拆分 if self.window_sizes is not None: for g in range(self.num_groups): w self.window_sizes[g] if w 0: continue mask make_window_mask(N, w, attn.device) h_start g * self.heads_per_group h_end h_start self.heads_per_group attn[:, h_start:h_end] attn[:, h_start:h_end].masked_fill( ~mask[None, None, :, :], float(-inf) ) attn attn.softmax(dim-1) attn self.attn_drop(attn) x (attn v) # (B, heads, N, head_dim) x x.transpose(1, 2).reshape(B, N, self.num_heads, self.head_dim) # 通道重排在head粒度上打乱顺序 x x[:, :, self.shuffle_index, :] x x.reshape(B, N, C) x self.proj(x) x self.proj_drop(x) return x提示上面代码里我用一维距离近似了二维空间距离目的是让mask逻辑更直观。真正接入2D特征图时建议把序列索引还原成H×W网格坐标再计算二维距离这样窗口形状会更符合空间语义。3.2 插入Neck的三种布局方案模块写好了接下来要决定放在Neck的哪个位置。我试过三种布局方案各有优劣下面直接给结论。方案A把HMHA插在PAN-FPN每次concat之后的那个融合卷积之前。这个位置特征是刚刚完成跨尺度拼接通道冗余最严重的时候HMHA在这里做一次注意力筛选和通道重排能直接压掉一部分冗余信息后面的融合卷积压力会小很多。优点是对整体结构改动小缺点是每个尺度节点都要插参数量和计算量累计起来比较大。方案B只在P3、P4、P5三个尺度的最终输出端各加一个HMHA。这种做法的思路是让注意力“把关”最终送给检测头的特征。优点是改动最收敛速度影响小缺点是Neck内部融合过程仍然有冗余模型前半段的问题没有解决。我实际跑下来方案B的精度提升明显弱于方案A。方案C只挑最大尺度和最小尺度两个节点插入HMHA中等尺度保持原样。这个方案适合算力紧张的情况因为P5分辨率低、计算量小P3分辨率高、对小目标最敏感两头都照顾到了。精度提升介于方案A和方案B之间但训练速度损失最小。三种布局的定位和算力开销对比如下布局方案插入位置优点缺点适用场景Aconcat后、融合卷积前冗余处理最彻底精度提升最高参数量增幅较大训练变慢对精度要求高、算力宽裕BP3/P4/P5最终输出端改动最小结构清晰内部冗余未处理提升有限快速验证HMHA效果C仅P3和P5节点平衡精度与速度中等尺度特征未覆盖有实时性要求我个人建议先按方案C起步跑通流程后在算力允许的情况下升级到方案A。这样既能快速看到HMHA带来的收益也能留出调参的余地。3.3 配置改动、参数量预算与训练策略以一个中等规模的YOLOv12配置为例Neck部分特征通道数通常在256左右此时一个HMHA模块的参数量约等于qkv投影加输出投影也就是约4倍通道数的平方256通道时大约是0.26M参数。如果按方案A插入三个HMHA模块总增加参数约0.8M对于整体参数量在7M上下的模型来说增幅不到12%属于可以接受的范围。在YOLO系列的yaml配置里可以新增一个自定义模块名然后像下面这样占位neck: - [-1, 1, Conv, [256, 3, 2]] # concat操作之后插入HMHA - [-1, 1, HMHA, [256, 8, 4]] # dim256, heads8, groups4 - [-1, 1, Conv, [256, 1, 1]]实际接入时要注意YOLOv12的某些版本在Neck里用了C2f结构我的做法是把HMHA作为C2f的替代或补充模块放在concat之后、卷积之前这样对原有特征流动路径的破坏最小。训练策略上我调整了几个关键点一是学习率要适当调低原来用0.01加HMHA后我改成0.008因为注意力模块对学习率更敏感二是warmup轮数至少增加到原来的1.5倍让qkv投影先稳定下来三是drop path建议设置0.1左右这个正则对防止注意力过拟合很有效。混合精度训练时HMHA的softmax和mask操作在FP16下是稳定的但建议保持torch.autocast默认策略不要把整个模块强行切到FP32。4. 实验效果和踩坑实录4.1 一组可以参照的实验对比我先把一组参考数据放出来它不是某个公开榜单上的绝对数字而是我在一个内部检测场景下跑出来的相对走势。场景是工业零件表面缺陷检测小目标和密集排列目标非常多正好能放大HMHA在局部特征建模上的优势。训练统一用640输入50个epoch优化器SGD损失函数和YOLOv12默认保持一致。配置mAP50mAP50:95参数量单卡训练耗时变化推理延迟变化原始Neck52.3%34.8%7.1M基线基线SE模块52.7%35.0%7.3M3%0.4%普通MHSA53.0%35.3%7.5M18%22%HMHA(8头4组方案C)53.4%35.9%7.4M6%4%HMHA(8头4组方案A)53.5%36.2%7.9M10%7%从数据上看HMHA相比普通MHSA有两点明显优势一是精度提升更多二是计算开销更小。原因就是HMHA的窗口mask让大部分注意力计算局限在局部不会像全局注意力那样产生大量无效的远距离交互。分类和回归分支的收敛曲线也显示HMHA在训练后半段对验证集mAP的拉升更持续说明子空间拆分确实增强了模型的泛化能力。4.2 训练中常见的坑与排查方法第一个坑是通道重排索引写错。我最初复现时直接把shuffle逻辑作用在特征通道维度上而不是head维度上结果训练时精度比基线还低了1.2个百分点。排查了两天才发现原因是通道维度的随机重排会把同一个head内多个head_dim切片拆得七零八落投影层根本学不到完整的子空间特征。正确的做法一定是在head粒度重排每个head内部的head_dim保持连续这点在代码里已经写清楚了。第二个坑是显存占用不稳定。方案A在全分辨率特征图上做全局注意力那一组时显存偶尔会跳高。我调整了window_sizes把最大的窗口从0改为覆盖三分之二尺度的局部窗口显存就稳定了。对于检测任务来说完全全局的上下文在大目标上确实有帮助但并非每个尺度节点都需要P5层保留一个全局组就够了P3和P4建议全部用局部窗口。第三个坑是小数据集上不涨点。如果你的数据集只有几千张图HMHA的分组结构反而会因为参数变多而容易过拟合。这时候可以试试先冻结Backbone只训练Neck和检测头或者把drop path调大到0.2。我自己在数据量偏小的另一个项目上遇到过类似问题冻结Backbone后精度提升就恢复到合理范围了。第四个坑是阈值类指标和回归指标的提升不同步。HMHA对分类置信度的分布影响比较明显有时候mAP50涨了但mAP50:95没有同步涨这是因为子空间拆分让分类分支学到的特征更锐利但回归分支还没跟上。解决办法是把边框回归损失权重临时上调10%到20%让回归分支在训练中后期重新匹配新的特征分布。4.3 参数调节的顺序与建议调节HMHA参数时建议按下面的优先级顺序来不要一上来就同时改好几个维度。先定分组数。分组数决定了子空间拆分的颗粒度我试过2组、3组、4组、8组4组在YOLOv12的Neck场景下综合表现最好。2组时子空间差异不够大局部和全局的区分度不高8组时每组只有一个头头的感受野切换太陡训练稳定性反而下降。再定每个组的窗口配置。这个要以数据集中目标的尺度分布为依据。如果你的检测目标普遍较小小窗口那组可以多分配一个组如果目标尺寸跨度大就把中间窗口的覆盖范围拉开。窗口配置对效果的影响比分组数更直接值得多试几轮。最后调drop path和注意力dropout。这两个参数决定注意力权重的平滑程度数值过大容易欠拟合过小则容易在训练后期震荡。我这边drop path取0.1、attn_drop取0.0时效果最好但不同数据集的最优值会有浮动建议用小幅网格搜索。5. 还能往哪个方向扩展5.1 轻量化和剪枝HMHA的一大好处是结构规整分组和头数的设定天然适合做结构化剪枝。训练完成后可以统计每个注意力头的有效注意力覆盖范围和熵值把那些熵值持续偏小、对精度贡献低的头剪掉再把shuffle_index重新生成一次。剪掉的头对应的通道会整体移除从而直接减少后续投影层的输入维度。这样可以在几乎不掉点的情况下压缩模型尤其适合要部署到边缘设备的场景。5.2 与检测头联动的改法除了在Neck里使用HMHA还可以把HMHA输出的多组注意力权重直接引向检测头的分类分支。具体做法是把最后一层HMHA每个group的输出单独保留分别经过轻量卷积后和检测头的分类特征做相加。这样分类分支就能同时借助局部窗口的小目标信息和全局窗口的上下文信息对小目标分类有明显帮助。这个改法会增加少量计算但效果可以和Neck内的HMHA叠加我试过在密集场景下小类别的recall提升了约1.5个点。5.3 迁移到其他多尺度任务HMHA并不绑定YOLOv12任何需要多尺度特征交互的任务都可以用同样的思路。图像分割中可以将它插入FPN结构的顶层输出让不同感受野的分组头分别捕捉器官边界和全局结构多目标跟踪里可以在ReID分支前插入小窗口的HMHA强化局部表观特征。关键点依然是子空间设计和通道重排这对组合前者保证多样性后者保证信息流通。换到其他任务时只需要重新设计窗口大小配置主结构不用动。最后说一个我在复现过程中感触最深的细节。第一次把HMHA接进Neck时我以为重点全在子空间拆分上注意力全放在窗口mask的逻辑上结果忽略了channel shuffle这一步。等到对照实验出来去掉shuffle的版本比完整版掉了0.4个点我才意识到道理其实很简单把一个团队分成几个小组还不够关键是小组之间要有信息交换的机制否则各干各的最后合到一起还是两张皮。这个道理放在模型结构里就是那步看似不起眼的通道重排。做模型改进不怕想法复杂怕的是理所当然地认为“小细节不影响大局”。HMHA这个改进能在我这个场景里稳定涨点靠的正是对这两个看似基础的问题较真。