无人机巡检的检测器在产线上跑了半年已经能稳定识别背板开裂、热斑、污渍三类缺陷。上周客户突然提了一个需求能不能再加一类“绝缘子自爆”。如果重新标注数据、重新训练整个模型成本太高如果直接拿新数据微调模型很快会把“绝缘子自爆”学会但同时把旧三类的识别能力忘得七七八八旧缺陷漏检率直接翻倍。这个问题不是个例凡是长期运行的检测系统都会遇到。它属于增量目标检测Incremental Object Detection的范畴——让一个已收敛的目标检测器在学习新类别的同时不灾难性遗忘旧类别。之前读到的这篇 Gradient Decomposition and Alignment for Incremental Object Detection 论文专门针对这个痛点做了优化而且思路比较巧妙不靠堆蒸馏损失硬撑而是直接去管“梯度”这个训练过程中最底层的信号。这篇文章我会用尽量通俗的方式把论文的核心思路、实现细节、实验结论和自己的复现体会一次讲清楚适合正在做目标检测落地、或者准备入坑增量学习方向的工程师和研究生参考。1. 为什么目标检测的增量学习让人头大增量学习最基本的难题叫“灾难性遗忘”。但这个概念最早是从图像分类里来的放到目标检测里问题的复杂度会高出一个量级。如果不先把这个问题看清楚后面看论文的解决方案也会觉得隔了一层。1.1 分类任务里的遗忘和检测任务里的遗忘不是一回事图像分类里模型的输出是一个固定长度的概率向量比如10类就是10个logit。增量学习时引入第11类模型只需要在最后的全连接层上多接一个输出单元然后继续训练。遗忘主要发生在分类头的决策边界上——新类的梯度会挤占旧类的权值空间导致旧类样本的logit被压下去。目标检测完全不同。它至少包含两个输出分支分类分支判断“这是什么”回归分支判断“框在哪”。更麻烦的是检测器不是对整图输出一个类别概率而是在几十上百个候选位置锚框或查询点上分别做预测。增量训练时旧知识分布在分类头、回归头、特征提取网络这几个层级里任何一个层级退化都会造成旧目标丢失。具体表现为三类现象分类头遗忘旧类目标被误判为背景或者被强行分到某个新类别里框回归退化框还在但位置漂移IoU掉下来特征提取层漂移新类训练把骨干网络的底层特征带偏了旧类别独有的纹理、形状信息无法被激活。第一种遗忘是显性的看mAP就能发现第二种和第三种是隐性的往往旧类mAP看着还行但逐类检查发现某个旧类边界框质量明显变差。论文作者在正文里也强调过这点——检测器的增量学习不能只盯着分类准确率框回归和特征稳定性同样关键。1.2 新类梯度压过旧类梯度是遗忘的直接推手从优化角度看增量阶段发生的本质上是一次“梯度行为失衡”。新类的训练样本就那么几百张旧类在数据库里有几千张但增量阶段通常不会把全部旧类样本拿出来重新训练。于是每一轮迭代模型接收到的梯度主要来自新类样本旧类样本的梯度信号严重不足。参数更新方向被新类主导每一帧更新都在悄悄侵蚀旧类分类头的权值。这就是“梯度主导权”问题。如果把一次batch的梯度在参数空间里画成一个向量你会发现它的方向几乎完全由新类样本决定。旧类样本即便在回放里出现数量上也处于绝对劣势。论文的核心主张非常直接与其在损失函数层面跟遗忘对抗不如在梯度更新这个源头把新类学习和旧类保持的任务交给不同的梯度分量去负责。1.3 检测任务的类别不平衡让增量学习雪上加霜检测器训练里还有一个固有麻烦——正负样本比例极端失衡。一张竖图里可能同时标注6个目标但锚框或提议框有上万个其中绝大多数是背景。增量训练时新类目标数量少正样本占比更低。如果沿用普通交叉熵或Focal Loss模型学新类的效率本来就低还得兼顾旧类不退化优化难度成倍增加。所以真正好用的增量检测方法不能只靠“加一个惩罚项”解决。它必须在训练信号的产生机制上做文章这也是为什么论文提出梯度分解时我第一反应是这个方向打对了。2. 输出层约束这条老路为什么在检测器上频频失灵如果你接触过增量学习大概率见过知识蒸馏Knowledge Distillation类的方案。做法是让当前模型在旧类样本上的输出逼近旧模型的输出从而“记住”旧类被识别的方式。这类方法在图像分类增量学习里确实有效但搬到目标检测上效果大打折扣。论文里专门分析过这个问题我用大实话解释一下它失灵的原因。2.1 检测器的输出是“密集预测”蒸馏信号本身就带噪声分类模型的输出是干净的概率向量蒸馏目标明确。检测器的输出不一样——它是一个巨大的张量里面对应着每个空间位置、每个锚框的类别得分和框回归偏移。旧模型对旧类目标的预测并非全部高置信度很多框置信度介于0.3到0.7之间。拿这些带有噪声的预测去约束新模型相当于让学生去抄一份本身写得就模糊的笔记学生不仅没抄好还可能把原本正确的结构也搞乱。更麻烦的是教师模型和学生模型可能是不同的网络结构比如增量阶段接了新头特征图的通道数、空间尺寸对不上。这时候做特征蒸馏也好做响应蒸馏也好都得做一层投影对齐而投影本身又会引入额外的学习负担。2.2 锚框匹配不一致导致教师和学生的预测“不在同一频道”目标检测的标签分配正负样本匹配在训练过程中会动态变化。教师模型认为某个锚框是旧类目标经过一轮训练学生模型的分类头对该锚框的置信度可能已经变了导致下一轮匹配结果不同。蒸馏损失约束的是“学生输出接近教师输出”但教师某些位置预测的其实是噪声背景框的高置信度误判学生把这些噪声也学过去了。总结一句就是检测器的输出空间里背景、旧类、新类、框回归几个信号纠缠在一起蒸馏法很难把它们干净地区分开。论文作者坚持回到梯度层面解决恰恰是因为梯度可以按方向拆分不用管输出层那些纠缠不清的量。2.3 正则化方法也受限于“哪些参数该被约束”除了蒸馏另一类常见做法是参数正则化比如用Fisher信息矩阵或基于重要性的权重惩罚让旧类重要的参数在更新时尽量少动。这在分类模型上能work检测器的参数数量大得多而且重要性并非静态——增量训练中某一层可能对旧类分类重要但对新类特征提取也同等重要。硬约束一层参数新类就学不动松了约束旧类又守不住。论文的梯度分解策略本质上比这类“一刀切”的正则化更精细它不管哪些参数不能动而是控制参数更新向量的方向。3. 梯度分解与对齐从“抢方向盘”到“各走各道”这篇论文的核心方法标题已经写得很清楚——Gradient Decomposition and Alignment梯度分解与对齐。我第一次看到这个标题的时候心里想的是梯度还能分解怎么分解分解完了怎么对齐看完实现之后发现这个思路说穿了非常朴素但在参数更新的一线战场非常实用。3.1 一次batch的梯度可以看成两股力量的叠加在增量训练的某一个迭代step里我们手里有一个当前模型包含新旧两类的知识结构、一个旧模型快照完全冻结。从当前batch里可以反传出完整梯度 g从旧类样本通常是记忆池里可以让旧模型也产生一个梯度参考方向 g_ref。论文把 g 分解成两个分量的组合一个分量沿着 g_ref 的方向它的大小直接影响旧类别知识在新参数空间里的保持程度一个分量与 g_ref 正交它不干扰旧类别方向可以自由地用于学习新类别特征。用生活化的类比来说这就像两个人在划船一个人负责往前划另一个人负责偏转航向。如果没有协调机制两个人都往自己认为对的方向用力船就会原地打转或者直接翻。梯度分解做的事情就是提前把“划船前进”的力学习新类和“稳定航向”的力保持旧类分配到互不冲突的方向上让它们各干各的。3.2 为什么要对齐而不只是分解分解只解决了“方向分工”问题还有一个隐藏矛盾新类梯度在 g_ref 方向上的投影如果是反向的说明新类学习会直接抵消旧类的保持力量。完全屏蔽这个投影新类学不动完全不屏蔽旧类疯狂掉点。论文的精髓在于“Alignment对齐”这一步——它不把投影分量一刀切丢弃而是通过一个约束或者缩放操作把新旧梯度的夹角控制在一个安全区间。具体怎么处理通常的做法是计算 g 和 g_ref 的余弦相似度。如果相似度为负说明两个梯度方向互斥就把沿 g_ref 方向的分量缩到很小甚至归零如果相似度为正说明新旧更新方向本来就一致适当保留甚至放大这个分量让旧类样本的更新和新类样本的更新互相促进。这个设计在数学上实现了“该冲突时隔离能协作时协作”比固定权重惩罚灵活得多。3.3 为什么梯度层面的干预比输出层干预更治本拿人体来类比蒸馏方法是在你听完课、做完题之后发现答案和标准答案不一样然后让你重做一遍卷子梯度分解则是在你准备提笔写答案之前就检查你的解题思路方向是否与经验冲突。检测模型的容量大、耦合度高输出层的一点点偏差经过多层反向传播会被放大而直接在梯度更新向量层面介入等于从源头控制了参数漂移的方向效率和稳定性都更高。论文实验里也验证了这一点同样的记忆池和训练预算梯度分解方案在旧类mAP保持上明显优于蒸馏方案而且在训练早期就能看到旧类损失的震荡更小说明遗忘确实被事前抑制了而不是事后硬拉。4. 拆开看实现旧类方向、记忆样本与对齐损失怎么配合光聊大方向不行落地实现才是大家最关心的部分。论文的完整流程可以概括为准备一个冻结的旧模型维护一个极小的旧类记忆池在每个训练step计算当前梯度和旧类参考方向做分解和对齐最后把处理后的梯度用于参数更新。下面按关键组件逐个拆解。4.1 旧模型快照与“参考方向”的计算回忆型模型中旧模型可以是一个纯推理的Teacher也可以是你保存的历史最佳权重。论文的实现选择是冻结一个旧模型快照每次需要用旧类样本计算参考梯度时把一小批旧类样本喂给旧模型反传出梯度只取方向模长归一化作为 g_ref。这里有一个细节经常被忽略参考梯度不需要来自整个backbone甚至可以只在分类头或者最后几层算。全模型参数的梯度方向维度极高参考信号会被海量参数稀释。论文的实践是根据任务需要进行有选择的对齐——重点对齐分类头和骨干网络后半段的梯度方向回归头因为新旧类共享空间结构约束可以放松。这么做既省计算又能让新类box回归充分学习是一举两得的取舍。伪代码思路大致如下PyTorch风格非论文原始代码# 旧模型冻结负责提供参考方向 with torch.no_grad(): logits_old teacher(model, old_batch) grad_ref torch.autograd.grad(loss_old, params_subset) grad_ref_dir normalize(grad_ref) # 当前学生模型的梯度 grad_cur torch.autograd.grad(loss_total, params_subset) # 分解与对齐 cos_sim cosine_similarity(grad_cur, grad_ref_dir) grad_parallel project(grad_cur, grad_ref_dir) if cos_sim 0: grad_cur grad_cur - scale * grad_parallel # 抵消危险分量 else: grad_cur grad_cur min(1.0, cos_sim) * grad_parallel # 保留协作分量 grad_cur grad_cur grad_orth # 正交分量完整保留上面只是展示核心思想的伪代码实际操作中还需要处理detach、参数子集选择等工程细节。但理解了这段逻辑你去读论文里那些公式时会轻松很多。4.2 记忆池小而精的旧类样本怎么选增量学习离不开记忆回放这篇论文也不例外但它强调记忆池不需要大而是需要“方向代表性好”。常规做法是每类固定保留20到50张图片挑选规则我试下来比较有效的有三种靠近类别中心的特征样本用旧模型提取特征选离类别中心近的样本代表性和稳定性最好中等难度的样本置信度在0.4到0.8之间的样本避免纯简单样本导致参考梯度过于平滑覆盖场景多样性的样本同一目标不同光照、不同姿态的图各留一两张防止参考方向被单一场景带偏。实际经验是记忆池超过每类100张之后旧类mAP收益开始边际递减但训练开销线性上升。论文里的设置和我复现时的观察基本吻合像VOC这种20类的小规模检测基准总记忆池控制在几百张以内就能取得不错的旧类保持效果。4.3 总损失如何组合论文在优化时并不是只用梯度分解还是会配合基础的检测损失和可选的轻量蒸馏损失。整理下来大致是损失项作用是否需要旧模型常规检测损失分类回归保证新类学习能力不下降不需要梯度对齐约束抑制新类梯度对旧类方向的破坏需要可选的特征蒸馏损失在特征层面提供辅助约束需要论文的核心创新集中在梯度对齐约束上其他部分保持流水线式设计方便在主流检测框架里直接插入。如果你的检测框架已经实现了回放流程加入梯度分解其实只多了一步多算一次旧模型参考方向的梯度然后对现有梯度向量做一次投影和缩放改动量比换一个蒸馏模块要小得多。4.4 训练流程与超参调节经验增量训练一般分两段。第一阶段用基类数据预训练一个检测器第二阶段冻结旧模型快照用新类数据加上记忆池里的旧类样本一起训练。我在复现过程中对齐系数论文中控制分解强度的超参的影响最大给一个参考调参思路对齐系数设得太小接近于0梯度分解基本不起作用表现等同于“多加了几个旧样本的微调”旧类mAP会缓慢下降对齐系数设得太大新类梯度被严重截断新类mAP起不来表现为训练很多轮但新类AP一直低于预期一个比较稳妥的做法是让对齐系数随训练轮次衰减。训练初期强化对齐防止旧类迅速崩塌训练后期减弱对齐让新类充分拟合。我在VOC 15-5协议下用这个策略旧类mAP保持率和新类mAP的平衡比固定系数好了不少。5. 实验结果与复现中的细节论文在公开检测基准上做了一系列实验结论方向很清晰在整个增量检测方法的谱系里梯度分解与对齐在“旧类mAP保持率”和“新类mAP”两个目标上都能取得领先尤其是在类别数量不均衡、新类样本稀缺的场景下收益比蒸馏方法更明显。5.1 实验协议与核心结论增量检测的常见评测协议有两种一种是“基类数量远大于新类”比如VOC 15-5协议15个旧类5个新类另一种是“新类与旧类数量接近”比如COCO 80类拆成4040以及新类更少的few-shot协议。论文在这几种协议下都做了验证。关键结论我总结成几个观察旧类mAP保持梯度分解方案在所有协议下都把旧类mAP掉点控制在了很小的范围内接近“重训全部数据”的90%以上水平新类mAP比直接微调略低一点但明显高于基于蒸馏的方案整体mAP梯度分解方案基本都能取得最高值因为旧类贡献的mAP基数大保住旧类对整体指标的提升权重很高训练稳定性加入梯度对齐后旧类损失曲线的波动明显减小在训练后期效果尤为显著。方法示意旧类mAP保持越高越好新类mAP越高越好是否需要额外记忆池直接微调低高否经典蒸馏方法中中否记忆回放中偏高中是梯度分解与对齐高中偏高是这个对比虽然不是论文里的原始表格但整体趋势是符合我对该方法的理解的。实际复现结果会因检测网络和训练配置而略有浮动但“旧类更稳、整体更高”的结论很稳定。5.2 复现时容易踩的三个坑第一参考梯度必须从旧模型冻结状态计算而不是从当前模型算。这一点很容易写错如果你拿当前模型的梯度做参考方向分解意义完全失效因为当前模型的梯度已经包含了新类信息。第二梯度分解要做在参数子集上不要对全部参数做。第一次实现我图省事直接对整个模型参数张量做投影训练速度掉了大约三倍而且因为低层参数梯度方向混乱分解出的正交分量也非常不稳定。改成只在分类头和backbone后半段做性能和稳定性都好了。第三记忆池里的旧类样本要打乱顺序并且和当前batch的统计量解耦。如果用BatchNorm建议在计算参考方向时用旧模型的统计量否则新类样本的batch统计量会污染参考方向。这一点论文没有大篇幅展开但我在复现中实测影响很大。6. 这套思路能搬到哪些场景以及它的边界在哪论文的方法虽然针对目标检测提出但“梯度分解与对齐”本质上是一种优化层面的元方法。它不挑具体的检测器结构Faster R-CNN、SSD、基于Transformer的检测器都能用因为梯度是任何基于梯度下降训练的模型都有的信号。这个通用性让我觉得非常值钱。6.1 可以借鉴到相邻任务的方向首先增量实例分割、增量语义分割面临的遗忘问题与检测类似也是多任务输出纠缠同样可以套用“按任务拆分梯度方向”的思路只是参考方向需要按像素级输出重新定义。其次跨领域微调也能受益。比如一个在自然图像上预训练的检测器要迁移到医疗影像或工业检测场景预训练知识会不会被新领域覆盖掉如果把梯度分解建立在“预训练模型的梯度方向”上就能在适应新领域的同时保留一部分旧领域的通用特征表达能力。我在一个模拟项目里试过把梯度对齐用在领域适应场景规律是当新旧类别外观差异很大时对齐约束的收益更明显当新旧领域高度相似时收益会缩小但也不会带来明显副作用。6.2 方法的边界与材料取舍梯度分解也并不是万能的。它假设新类学习和旧类保持可以被梯度方向明确分开但如果新旧类在特征空间高度重叠比如新增类和旧类外观极其相似仅靠梯度分解提供不了足够的判别信息新类会学成旧类的子集。遇到这种场景需要在特征层面加对比约束或者类别原型约束梯度分解只能作为辅助角色。另外一个现实问题是计算开销。每个step多一次旧模型的前向和反向在单卡环境下训练时间大约上升30%到60%。工程落地时可以隔几步才做一次梯度分解比如每5个step更新一次参考方向其他step走普通优化性能几乎不变训练速度能提升不少。这对资源紧张的生产环境是很实用的折中方案。6.3 我的落地建议如果让我在工程项目里做选择我不会一上来就上梯度分解而是先试“冻结backbone 小记忆池”这个最轻量的组合看旧类mAP掉点能不能接受。只有在旧类掉点超过5个点、单纯回放救不回来的情况下再接入梯度对齐模块。这时候改动不大收益却很直观旧类稳定了新类也学到了客户再提“加一个新类”的需求时你就可以底气十足地告诉他——不用重训整个模型跑一个增量训练就行。论文的价值不在于提供了什么花哨的网络结构而在于它把“遗忘”这件事从结果层面拽回到了过程层面。与其想尽办法在输出端修补不如在梯度这个方向盘上早做规划。这可能也是增量目标检测未来真正走向实用化的一条必经之路。