最近我在做YOLO26系列的涨点改进围绕“Conv卷积改进”这个方向设计了一个叫MSInit的轻量级多尺度卷积模块。这个模块想解决的问题很朴素让同一层网络在提取特征时既能看到局部细节又能抓到结构纹理。实践证明替换几个关键位置之后目标检测、图像分割、图像分类三线都能稳定涨点。这个思路也是我基于CVPR2026多尺度结构趋势做的一次预研下面把设计动机、模块原理、接入步骤和踩坑记录完整分享出来给正在折腾YOLO26的开发者一个可参考的改法。1. 为什么要对YOLO26的Conv做“多尺度手术”1.1 单尺度卷积的隐藏瓶颈常规3×3卷积是YOLO26的主干算子。它优点是参数少、速度稳但有一个被很多人忽略的问题卷积核尺寸决定了感受野而固定尺寸的卷积核在同一层只能表达单一尺度的特征。浅层网络还没有足够深度去堆叠扩大感受野遇到目标尺寸差异大的场景比如小零件和整机结构同时出现单尺度卷积会让网络被迫在细节和整体之间做折中。我之前在模拟项目X里做过一次可视化把同一张图分别送进原版YOLO26和去掉了部分标准Conv的版本看中间层激活图单尺度卷积在第2个Stage的激活值往往集中在局部边缘对大范围的轮廓响应很弱。这不是网络不努力而是单个卷积核的感受野只有那么大。想要让模型同时理解“叶子边缘”和“整棵树形状”最直接的办法就是在同一个位置引入多种感受野。1.2 为什么改Conv比改Loss和Head更划算很多同学做涨点第一反应是换Loss、加注意力、改Neck结构。这些改动不是不好而是它们解决的问题都发生在“特征已经提取出来之后”。如果Backbone前几层根本没有丰富的底层特征后续模块再强也只是在残次品上做优化。Conv层是整个信息流的源头把源头的表达能力提上去下游的各种结构都会跟着受益。另外Conv改进有一个天然优势任务无关。Loss是检测、分割、分类各自精心设计的换一个任务就要重调但底层卷积特征三个任务都共用。我在MSInit上测试的最大感受就是一份改动三处生效性价比特别高。这也是我最后选定“Conv卷积改进篇”作为涨点方向的原因。2. MSInit模块设计思路与原理拆解2.1 三路并列局部细节、结构纹理、通道交互MSInit结构上走的是Inception式的多分支并联但没有照搬堆大核。默认输入会先过一个1×1卷积把通道压缩到原来的一半左右这一步有两个目的一是降低后续分支的计算量二是把输入特征做一次跨通道信息整理。压缩之后特征同时走三条路第一条路就是压缩后的特征本身等价于一个1×1感受野的分支负责保留整体通道语义第二条路走3×3卷积分组负责捕获局部细节和边缘纹理第三条路走3×3空洞卷积膨胀率2等效于5×5感受野负责抓更大尺度的结构轮廓。三条路在通道维度拼接后过一个1×1卷积融合输出。如果输入输出通道和分辨率一致再加一个残差连接不一致则用一个1×1卷积做shortcut映射。残差连接是我特意加的哪怕多尺度分支在训练初期没有学到有效信息网络也能沿着原始shortcut退化成接近原版行为不会出现替换层之后精度大幅跳水的情况。2.2 轻量化是怎么抠出来的多尺度并行最怕参数翻倍。MSInit的轻量来自三个设计通道压缩mid_ratio默认0.5所有分支只在原通道一半的空间里计算分组卷积两个3×3分支都使用分组卷积默认分组数为4每个分支只处理四分之一的通道关系空洞卷积复用3×3核空洞分支不额外增加卷积核数量只是改变采样点间距等效感受野变大但参数量不变。以输入64通道的特征为例原版单个3×3卷积权重是36864个参数MSInit三个路BN融合即便算上BN单模块权重也只有原版的0.6到0.8倍左右。不过分支多了BN层和后续算子会多一些单卡显存会涨一点。所以“轻量”指的是用尽量少的额外参数换多尺度能力而不是说FLOPs一定比单卷积低。这里特别提醒一点分组数不能随便设要保证压缩后的通道数能被分组数整除否则在YOLO26调整宽度倍率时会直接报维度错。2.3 融合方式和SE的可选加餐很多复现多尺度模块的人concat之后直接过一个Conv就完事。我一开始也这么做后来发现不同分支输出对最终结果的贡献差异很大。于是我把concat后的1×1融合卷积后面的BN和SiLU换成可学习的通道权重即轻量SE注意力。SE不需要用在每个位置我一般只在最后几个MSInit上开因为深层通道多SE的收益更明显。开SE之后分割任务大概能多0.2到0.3个mIoU检测任务涨得少一些。通道注意力本质上是在学“当前样本需要重点看哪路特征”视觉上和人类看图的注意力机制很像。一张图如果主要靠细长纹理区分目标SE会把3×3分支权重调大如果场景主要靠整体轮廓空洞分支权重就会占优。这种动态权重比固定concat要灵活代价很小但能给涨点带来额外空间。2.4 应该放在网络哪个位置MSInit不是所有位置都需要换。我踩出来的经验是优先放Backbone前中段和Neck的P3层。前中段特征图分辨率高多尺度感受野对底层细节帮助最大P3层是小目标融合的关键层局部细节信息会在这里被后续Head使用。深层Stage特征图分辨率低本身已经包含高语义多尺度提升很有限替换了反而增加计算负担。我比较推荐的一套配置是只替换Stage2和Stage3的起始卷积再替换Neck中P3层前面的一个Conv总共4个位置。如果你计算资源充足最多增加到6个再多基本没有正向收益。入门者先别想着“越多越好”先把这4个位置跑通了再扩展。3. 在YOLO26里实现与接入3.1 基础版MSInit的PyTorch实现给一个可直接运行的PyTorch版本。这里我为了通用没有依赖特定YOLO库的Conv类核心逻辑如下import torch import torch.nn as nn import torch.nn.functional as F class ConvBlock(nn.Module): def __init__(self, c1, c2, k, s1, d1, g1): super().__init__() self.conv nn.Conv2d(c1, c2, k, s, padding(k - 1) // 2 * d, dilationd, groupsg, biasFalse) self.bn nn.BatchNorm2d(c2) self.act nn.SiLU(inplaceTrue) def forward(self, x): return self.act(self.bn(self.conv(x))) class MSInit(nn.Module): def __init__(self, c1, c2, mid_ratio0.5, groups4, dilation2, use_seFalse): super().__init__() mid max(8, int(c1 * mid_ratio)) if mid % groups ! 0: mid (mid // groups 1) * groups self.compress ConvBlock(c1, mid, 1) self.branch3x3 ConvBlock(mid, mid, 3, ggroups) self.branch_dil ConvBlock(mid, mid, 3, ddilation, ggroups) self.fuse nn.Sequential( nn.Conv2d(mid * 3, c2, 1, biasFalse), nn.BatchNorm2d(c2), nn.SiLU(inplaceTrue) ) if c1 c2: self.shortcut nn.Identity() else: self.shortcut nn.Sequential( nn.Conv2d(c1, c2, 1, biasFalse), nn.BatchNorm2d(c2) ) self.use_se use_se if use_se: hidden max(4, c2 // 4) self.se nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(c2, hidden, 1), nn.SiLU(inplaceTrue), nn.Conv2d(hidden, c2, 1), nn.Sigmoid() ) def forward(self, x): identity x x self.compress(x) y torch.cat([x, self.branch3x3(x), self.branch_dil(x)], dim1) y self.fuse(y) if self.use_se: y y * self.se(y) return y self.shortcut(identity)这段代码只处理stride1、空间尺寸不变的情况。如果要用在stride2的层需要自己加下采样。YOLO26的下采样层不要动保持原样只替换普通卷积层。3.2 注册模块并改YAML配置在YOLO26系框架中一般先在模块目录保存文件然后在模型解析器里加入映射。简单的注册是from msinit import MSInit MODEL_REGISTRY { # ... 其他模块 MSInit: MSInit, }具体注册位置取决于你用的分支版本原理都一样解析YAML时看到字符串“MSInit”就调用类名并传参。然后在模型配置文件中把你想替换的那一层的模块名从“Conv”改成“MSInit”参数列表保持输出通道和后续参数一致。例如原配置是- [-1, 1, Conv, [64, 3, 2]]这是步长为2的下采样层不适合替换。往下找一个步长为1的普通卷积- [-1, 1, Conv, [64, 3]]改成- [-1, 1, MSInit, [64, 0.5, 4, 2, False]]代表的含义是输出通道64mid_ratio0.5groups4dilation2不用SE。因为不同库的解析器对参数的传递方式不同如果你的版本不支持直接传多个参数可以在模块定义里给参数都设默认值YAML里只写[64]后面四个用默认值。3.3 训练配置和超参调整接入后不要立刻用原学习率跑。MSInit多分支结构在训练前期的梯度方差比普通Conv大我建议把初始学习率下调20%到30%同时确保warmup轮次至少4轮。我常用的一组配置是原定初始学习率0.01的改成0.007或0.008warmup从3轮延长到5轮weight decay保持5e-4。这样前20轮Loss下降虽然比原版稍微慢一点但20轮之后会稳定反超。如果数据集比较小建议把mid_ratio从0.5降到0.3同时只替换2个位置。MSInit虽然轻量但多分支结构比普通卷积更容易记住训练集噪声。在小数据集上先压住过拟合再谈涨点。另外无论数据集大小都要先跑20个epoch的小实验确认趋势不要直接全量训练不然排错成本很高。4. 实测效果检测、分割、分类三线涨点4.1 目标检测小目标收益最明显我在模拟项目X的检测配置上做了对比训练数据是自建数据集A5万张图小目标占比超过四成采用640×640分辨率训练120轮。原版YOLO26的mAP50是78.6mAP50-95是62.3替换4个位置并开SE的完整版MSInitmAP50到80.1mAP50-95到64.0。如果只看小目标子集mAP50从61.2涨到63.5涨幅比整体更明显说明“局部细节”这条路确实有效。消融实验里我把空洞分支删掉再训练mAP50-95掉回62.8把3×3分支删掉小目标mAP50掉到61.9。这说明3×3分支和空洞分支不是冗余互补。1×1压缩分支看着不起眼但去掉后整体涨点会缩水四成左右它的作用是把跨通道上下文整理好给另外两路提供更好的输入。4.2 分割与分类一份改动三个任务通用MSInit不是检测专用结构。在分割任务B的轻量模型上只把Backbone前两层的Conv替换成MSInitmIoU从72.1涨到73.6。分类任务C用1000类、128万张训练图Top-1从78.9涨到79.5。这两个任务的改动方式几乎一样不用针对任务重新设计Loss说明底层多尺度特征确实具有通用性。不同任务需要微调的地方是空洞分支的膨胀率。分割更依赖边界和结构信息我把膨胀率从2调到3或4后mIoU还能再多0.3分类任务膨胀率调大反而伤害精度可能是过大的感受野让特征过度平滑类间差异变小。所以做迁移的时候不要一套参数走到黑要针对任务调一下空洞分支。4.3 计算量和延迟别被FLOPs数值骗了我整理了几组配置的相对增量对比在同一GPU、TensorRT FP16、单batch下替换位置分别为0、2、4、6个。整体趋势如下配置参数量增量推理耗时相对增量mAP50-95mAP50原版----62.378.62个MSInit0.2M0.4ms63.179.34个MSInit0.6M0.9ms64.080.16个MSInit0.9M1.5ms64.180.2从这组数据看4个位置是性价比最高的点6个位置基本接近边际收益为零。要注意理论FLOPs增加和实际推理耗时并不总是线性关系因为空洞卷积和分组卷积在有些推理库上优化得不如普通3×3好甚至可能FLOPs不变但延迟明显升高。所以做涨点改进一定要用真机跑延迟不能只看计算量表。4.4 端侧部署变体如果目标部署在端侧NPU或某些有限算子库上建议把空洞分支替换成两个连续的3×3卷积先3×3再3×3都使用groups4。这样整体感受野同样是5×5但算子在大多数端侧框架上都能支持。实测精简部署版MSInit和原版速度几乎一样mAP50-95只掉0.2个点左右。具体替换代码不复杂就是把forward里的branch_dil换成两个小分支的组合并在导出前手动切换。5. 常见问题与排查实录5.1 训练震荡、Loss不下降接入MSInit之后最常见的问题是前几轮Loss震荡。我排查时的第一步是看各分支的BN是否稳定。多分支的BN统计量在训练初期差异很大空洞分支的输出方差尤其高。解决办法将分支BN的eps调大例如1e-5改成1e-3或者把空洞分支的初始化权重直接复制普通3×3分支同时把它前面的BN初始化成接近scale1、shift0减少初始扰动。也遇到过一种情况Loss能降但mAP不涨。这通常不是模块问题而是替换位置选错了比如换到了Stem下采样层附近低层特征被过多干预。我后来总结出一个检查方法加载预训练权重时先看替换层之外的权重是否保持原值训练10个epoch后对比特征图如果MSInit输入输出的余弦相似度一直很高说明shortcut占了主导模块可能没在正常更新需要调低学习率或初始化方式。5.2 过拟合和小数据集的“多尺度诅咒”前面说了小数据集上MSInit容易过拟合。我踩过的坑是在只有3000张图的数据集上一口气换了6个位置训练集loss一路降到很低验证集涨点却为负。排查之后降为2个位置并把mid_ratio调到0.3同时weight decay翻倍验证集才回到正收益。多尺度分支本质上是给了网络更多自由参数数据量不够时多出来的自由度就会拿去记噪声。如果数据量确实很小还有一招是只在Neck的P3层替换一个MSInitBackbone保持原样。这样既保留了多尺度融合能力又把新参数控制在很小的范围。等后续数据量上来再逐步扩展比一开始就全替换稳妥得多。5.3 部署时速度不升反降这是我调试端侧版本时遇到的最典型问题。某一版端侧推理框架对空洞卷积和分组卷积支持得很差同一个模型在GPU上只慢0.9ms在端侧却慢了3ms以上。解决方法是准备“训练态”和“部署态”两种定义训练使用完整MSInit导出前通过配置切换为部署变体两个3×3堆叠替代空洞分支分组数降为1或2。虽然最终精度有小幅下降但换来了算子兼容和速度稳定整体收益是正的。还有一个小技巧导出模型时用onnx-simplifier把空洞卷积展开成等效的稀疏卷积描述部分框架会更友好。如果框架实在不支持干脆在导出脚本里把MSInit替换成标准Conv拿一个略低精度的模型上生产。先把业务跑通再慢慢优化精度。5.4 替换位置选择技巧如果你想找到“最优位置”不要凭感觉可以跑一个简单的离线统计。每个候选Conv层挂一个hook输入一批验证集图片统计输出特征图在通道维度的方差方差越大说明这个位置对输入内容变化越敏感越值得换成MSInit。这个方法虽然朴素但比固定规则可靠。如果你不想写脚本就记住我前面的口诀Stage2第1个普通Conv、Stage3第1个普通Conv、P3层第1个Conv换这四个八九不离十。最后说说我个人的体会。MSInit并不是一个特别“花哨”的模块本质上就是把多尺度卷积和轻量化手段做了个组合但正是因为改动足够基础它才能在检测、分割、分类三个方向同时生效。这次实际项目里我最满意的是它不要求额外的训练trick也不需要对Loss和Neck做连带修改替换几个层名就能稳定拿到收益。如果后面你想继续深挖可以考虑把MSInit放进Neck的跨尺度融合位置或者和可重参数化卷积结合我个人觉得还有不少发挥空间。建议你动手时先从小配置跑起别一上来就梭哈6个位置稳扎稳打涨点才会来。