做目标检测的人十有八九会在某个项目里被小目标卡住。我印象很深的一次是在一个监控场景里人从远处走过在画面中只有十几个像素模型从头到尾没有框出来一次。换上更深的主干网络、加了各种训练技巧AP还是上不去。后来真正起作用的是把FPN加进去——不是模型不够强而是小目标的特征在层层卷积之后早就被冲淡了。小目标检测是圈内公认的难点而FPNFeature Pyramid Network特征金字塔网络几乎是解决这个问题最经典、也是性价比最高的思路之一。它不改变你的检测头不依赖某个特定的骨干网络而是在特征提取阶段重新组织多尺度信息让网络既看得到全局又看得清局部。这篇文章适合正在做检测、被小目标搞到头疼的人也适合刚接触FPN、想搞清楚它到底在干什么的人。我会从原理讲到工程落地把踩过的坑一并写出来。1. 小目标检测为什么这么难——问题拆解1.1 小目标到底“小”在哪按通行评测标准小于32×32像素的目标一般被归为小目标。但实际项目里别说32像素很多目标只有8到10个像素在整幅图中就是一个点。目标小意味着像素信息极少缺少纹理、缺少轮廓、缺少可以依赖的上下文。网络看一眼根本不知道该拿什么特征去判断它。我习惯用一个生活类比来解释这件事你拿一张全景照片很容易看到人和背景但要你在里面找出远处一个人的脸你得把照片放大很多倍才行。神经网络也是同样的逻辑——它需要“看清”目标的空间细节而这些细节大多存在于浅层特征中深层特征已经被压缩得只剩抽象语义了。对小目标来说这种信息衰减是致命的。还有一个容易被忽略的点小目标的绝对尺寸小但相对尺寸在不同数据集里差别很大。有的图分辨率高目标在像素上看起来小但信息还算完整有的图本身分辨率低目标连轮廓都是糊的。这两种情况要用不同的策略不能一股脑套同一个配置。1.2 小目标检测失败的三个根源第一个根源是下采样导致的信息丢失。一张高清图输入网络骨干网络最后输出的特征图通常只有原图的1/32。一个32×32的小目标走到最后只剩下1×1像素。这时候别说识别类别连“这里到底有没有目标”都很难判断。深层特征图的分辨率决定了它的上限而小目标恰恰需要高分辨率来保留空间细节。第二个根源是正样本数量太少。检测模型要靠锚框与真实框匹配来产生正样本大目标区域面积大锚框稍微偏一点也能有不错的IoU容易命中。小目标完全相反锚框和真实框相差几个像素IoU就掉到匹配阈值以下。能参与训练的正样本天然稀少模型对小目标长什么样几乎没有学习机会。第三个根源是与背景的区分度低。目标小、像素少和周围背景的差异就不明显尤其在低分辨率下很多小目标看上去就是一团噪点。模型既容易把背景误判成目标也容易把目标直接漏掉。误检和漏检往往同时存在这让调参变得很棘手。难点本质原因典型后果信息丢失深层特征图分辨率太低小目标退化为1~2个像素分类困难样本不足小目标能匹配的锚框少训练不充分召回率低区分度低像素少、与背景混淆误检和漏检同时出现2. FPN的核心思想——从“最后一层”到“多层联合”2.1 为什么只用最后一层特征有缺陷早期检测模型无论两阶段还是单阶段基本都在主干网络最后一层特征图上做预测。最后一层语义最强分类能力最好但分辨率最低空间细节最少。对小目标来说这个缺陷直接决定了模型的性能上限。有人会说既然深层特征不行那直接用浅层特征不就行了浅层特征分辨率高、细节丰富但语义弱——它知道这里有边缘和颜色却不知道这堆边缘和颜色组合起来是一架飞机。单独拿浅层特征做分类效果同样糟糕。问题的本质是深层丢了空间细节浅层缺了语义理解单靠任何一层都不够用。值得注意的是多尺度特征不是FPN首创。在FPN之前就有一些方法把不同层特征拉出来分别预测但各层之间没有信息交互。浅层不知道高层看到了什么高层也不了解浅层的细节在哪每个尺度都在“盲人摸象”。FPN的关键在于把各层特征用自顶向下的路径串起来让每一层同时拥有细节和语义。2.2 FPN的三条通路到底在做什么FPN的结构可以拆成三块每一块都有自己的职责自底向上通路就是主干网络的前向过程。输入图像经过卷积和下采样逐步产生不同分辨率的特征层通常取最后几个阶段的输出记为C2、C3、C4、C5。越往上分辨率越低语义越强。自顶向下通路从最顶层C5开始对高层特征做2倍上采样逐步向低层传递。上采样让高层特征的尺寸与下一层对齐这样语义信息就能“流”到浅层去给浅层补上分类判断力。横向连接每一层自底向上的特征与来自上层的上采样特征做融合。通常先用1×1卷积统一通道数再逐元素相加。横向连接的作用有两个一是让不同层的特征通道维度一致二是把浅层独有的空间细节保留下来。融合之后每一层都输出一个新的特征图记为P2、P3、P4、P5分别覆盖不同尺度。每个尺度都接独立的检测头做预测最后把多层结果汇总。这就是FPN能同时兼顾大小目标的原因——不同尺度的目标总有一层特征和它匹配。2.3 一个生活化的理解方式把FPN想象成一个项目团队高层是决策层掌握宏观信息但粒度粗基层是一线执行掌握大量细节但缺乏全局判断。项目推进时决策层把战略目标逐层向下传达这是自顶向下执行层又把一线情况逐层向上反馈这是横向连接。每个层级既知道大方向又掌握具体细节配合起来才能做好事情。放到检测任务里也一样。P5这种深层特征负责找大目标它懂“飞机长什么样”但分辨率太低看不清远处的小飞机P2这种浅层特征分辨率高却不太懂“什么样的像素组合是飞机”。FPN把两者一融合P2既保留了细节又拿到了语义判断力小目标自然更容易被找到。3. FPN结构逐层拆解——每个部件都有它的理由3.1 自底向上通路主干网络的天然分层FPN不改变主干网络的结构只借用它中间的几层特征。以常见的ResNet为例输入图像经过一个stem和四个stage通常取stage2到stage5的输出作为C2到C5。它们相对原始输入的下采样倍数分别是4、8、16、32倍。也就是说一个32×32的小目标在C2里还有8×8像素到C5就只剩1×1了——这也是为什么小目标场景一定要重视浅层特征。为什么取四层而不是三层或五层取太少尺度覆盖不够小目标拿不到足够高的分辨率特征取太多计算量明显增加而且最浅层特征包含大量无关的纹理细节噪声也大。我在多数项目里都是用C2到C5这四层整体上是均衡方案。如果场景中目标普遍极小可以试探把C1也纳入进来但要准备好接受训练和推理速度下降的代价。这里有个容易踩的坑主干网络是否训练充分直接影响FPN的效果。如果主干是随机初始化浅层特征质量很差即使做了FPN融合得到的还是噪声叠加噪声。要么加载大规模数据集上的预训练权重要么在数据集足够大时从头训练并配好warmup否则FPN再精巧也发挥不出来。3.2 自顶向下通路与横向连接语义和细节的握手自顶向下是从最高层往下走的过程。每一步先对当前特征做2倍上采样再与下一层自底向上的特征相加。上采样的方式通常选最近邻插值而不是转置卷积或双线性插值。原因很实际最近邻不引入额外参数不会把上采样变成一次需要学习的操作稳定性和速度都更好转置卷积在这个位置几乎给不出性能收益反而增加过拟合风险。双线性插值虽然能带来更平滑的结果但特征融合场景下收益不大没必要为它增加计算量。横向连接的1×1卷积也值得细说。C5输出的通道数和C4、C3都不一致不先把通道数统一就无法直接相加。1×1卷积只改变通道数不改变分辨率是成本最小的对齐方式。同时1×1卷积还能对特征做一次压缩提炼滤掉部分冗余信息让后续融合更干净。融合时用的是逐元素相加而不是通道拼接。相加更节省显存和参数也能自然地把语义和细节叠加在一起。部分实现会在融合之后追加一个3×3卷积目的是进一步融合信息并抑制上采样产生的重叠伪影这个小改动对最终精度有稳定的正向收益建议保留。3.3 输出层与检测头的配合FPN的最终输出是P2到P5。P2分辨率最高、感受野最小适合检测小目标P3、P4适合中等目标P5分辨率最低、感受野最大适合大目标。检测头在每个特征层上独立滑动各层之间是否共享权重都可以但实践中不共享的居多因为不同尺度特征分布差异太大共享反而约束了各层表达力。很多检测框架还会在P5之上再接几层卷积生成P6、P7覆盖超大目标。但对以小目标为主的场景优先级恰好反过来——要保证P2存在甚至考虑加入更高分辨率的P1。这个取舍要结合算力来定因为P1对应原图1/2分辨率的特征图体积大训练和推理都会明显变慢。如果你的目标普遍在10像素左右P2是必须保留的底线。3.4 参数和实现细节备忘大多数FPN实现把输出通道统一为256。这个值是实践验证过的甜点参数通道太少信息容量不足通道太多计算量上升性能提升却有限。各类主干网络经过横向连接后都统一到256通道检测头的输入也随之统一实现上非常干净。下面是FPN核心结构的伪代码这样看数据流向最直观# 以PyTorch风格展示FPN数据流 import torch.nn.functional as F # 假设c2, c3, c4, c5分别是主干网络四个阶段的输出 # 各自通道为 [256, 512, 1024, 2048]统一输出通道为256 out_channels 256 lateral_2 Conv1x1(256, out_channels) # 横向连接对齐通道 lateral_3 Conv1x1(512, out_channels) lateral_4 Conv1x1(1024, out_channels) lateral_5 Conv1x1(2048, out_channels) smooth_2 Conv3x3(out_channels, out_channels) # 融合后的平滑卷积 smooth_3 Conv3x3(out_channels, out_channels) smooth_4 Conv3x3(out_channels, out_channels) smooth_5 Conv3x3(out_channels, out_channels) def fpn_forward(c2, c3, c4, c5): # 自顶向下路径从最顶层开始 p5 lateral_5(c5) p4 lateral_4(c4) F.interpolate(p5, scale_factor2, modenearest) p3 lateral_3(c3) F.interpolate(p4, scale_factor2, modenearest) p2 lateral_2(c2) F.interpolate(p3, scale_factor2, modenearest) # 平滑卷积输出最终特征 p5 smooth_5(p5) p4 smooth_4(p4) p3 smooth_3(p3) p2 smooth_2(p2) return p2, p3, p4, p5这段代码省略了主干网络部分但FPN的数据流已经很清晰每一层的最终输出都是“本层横向特征 上一层上采样结果”。理解了这个后面调参就有方向了。4. 实战篇如何把FPN用到自己的检测任务里4.1 选主干网络与FPN层数选主干取决于算力和精度预期。追求精度可以用较深的网络如ResNet-50或更高追求速度换轻量主干。这里有个容易忽略的点不同主干网络的下采样结构不同能拿到的特征层也不一样适配FPN时要注意每个stage输出的stride是否一致。有些轻量网络stage划分不明显需要手动确认特征图尺寸变化。我在一个边缘设备项目里就遇到过这种情况文档里写的结构和实际输出对不上最后只能逐层打印feature map形状来确认。FPN层数方面如果任务里目标极小可以尝试把P2纳入预测。如果小目标不多且算力紧张去掉P2、只用P3到P5也够用。判断依据很简单看验证集上小目标的召回率。召回率上不去再考虑增加高分辨率FPN层。不要一开始就无脑上P2有的场景目标根本没有那么小徒增计算量而已。4.2 为小目标重新设计锚框FPN是分层预测锚框也需要分层配置。常见做法是每一层对应一个基础尺度按2的幂次递增。例如P2对应小尺度P5对应大尺度每层再配几个长宽比。这个思路本身没错但默认配置不一定贴合你的数据。实际项目里我会先统计训练集中所有目标框的宽高分布再做聚类把锚框尺寸定出来。这一步很多人嫌麻烦不做但对小目标场景来说锚框尺寸匹配度直接决定召回率。如果不想手工设计锚框也可以换用无锚框的检测头它本质上是用中心点加距离回归来替代锚框匹配对小目标有一定友好度。但FPN的价值依然存在——无锚框检测头同样依赖FPN提供多尺度特征没有FPN小目标照样找不到。4.3 正负样本分配与损失函数小目标的正负样本分配比大目标敏感得多。大目标面积大锚框和真实框有偏差时IoU也不会太小容易命中正样本小目标正好相反偏差几个像素IoU就掉得厉害。所以对基于IoU匹配的打法小目标场景不要死守默认阈值可以适当降低匹配IoU或者改用基于中心距离的分配策略。损失函数方面分类损失和回归损失要分开考虑。小目标样本少、正负样本极不平衡用focal loss能显著缓解回归损失建议在默认平滑L1基础上换成对位置误差更敏感的变体。小目标对定位误差极其敏感几个像素的偏差对大目标无关痛痒对小目标可能就是一半框都偏出去了。4.4 让小目标“变大”的训练技巧与其让小目标在难以分辨的特征里硬猜不如在数据层面帮它一把。这个方向我强烈建议先做成本低、见效快。图像裁剪切块把高分辨率图切成若干patch再对patch做缩放训练等效于把小目标放大几倍。对小目标效果非常显著但要注意目标的跨块截断问题切块时最好带一定重叠。Mosaic或Copy-Paste把出现小目标的区域复制粘贴到其他图像里增加小目标出现频率和背景多样性。粘贴时要做随机旋转缩放不然模型会学到固定的粘贴痕迹反而损害泛化能力。多尺度训练每轮随机缩放输入图像尺寸让模型见过不同尺度下的目标形态。对小目标场景把短边放大一些训练会更友好。这些技巧不是FPN的替代品而是给FPN提供更高质量特征的辅助手段。数据层的功夫不做好FPN设计得再好也效果有限。4.5 推理阶段还能再榨一点性能推理阶段还有两个实用操作。一是多尺度测试把同一张图缩放到几个尺寸分别前向再把结果合并。对小目标放大图像后再检测往往能捡回不少漏检。多尺度推理会增加耗时适合离线评测或实时性要求不高的场景。我一般用原图和1.5倍放大两个尺度基本能稳定提升小目标AP。二是调整NMS阈值。FPN多层预测会把同一目标在不同层都检出出现大量重复框。NMS阈值设太严容易把低置信度的小目标框一起压掉设太松又会出现一个目标多个框。我的做法是先看单层输出的检测结果再跨层合并后观察重复框分布手动找到合适的阈值区间。这个参数值得花时间调它对最终可视效果的影响非常大。5. 常见问题与排查实录5.1 加了FPN还是漏检小目标最常见的原因是特征层取舍不对。很多检测库默认不输出P2级别的特征或者默认配置对低层特征不友好。先确认FPN输出的最低层是P2还是P3如果只有P3起步试试把P2纳入预测。第二个原因是锚框与小目标尺寸不匹配。统计一下你能检到的小目标框尺寸再看分配给低层FPN的锚框是否覆盖了这些尺寸。覆盖不到就调锚框或增加更高分辨率的FPN层。第三个容易被忽略的原因标注本身有问题。小目标在图像里本就难辨认很多数据集里小目标标注框存在偏移或缺失模型学的是错误边界。FPN只能提供特征纠正不了错误标签。遇到小目标一直漏检先抽检一部分标注看质量别急着调模型。5.2 小目标检出来了误检却也变多了把P2拉进来之后低层特征包含了大量纹理边缘信息模型容易把琐碎结构误判为目标。解决思路是让低层特征“更语义化”加大低层FPN融合后的卷积处理或者对P2特征做更强的平滑。同时增加难负样本挖掘让模型多见识“像目标的背景”误检通常会明显下降。还有一个很实用的招单独调低层特征对应的分类置信度阈值。低层特征分辨率高召回率本身就高把阈值提高一些只保留高置信度框能有效压制误检。有时候低层阈值比全局默认值高0.05到0.1误检就能压下一大截。5.3 各层损失严重不平衡FPN是多个层独立预测如果各层学习难度差异太大loss会失衡。常见表现是P2层的loss一直高居不下P5层的loss降得很快。排查时可以分别记录各层分类损失和回归损失曲线看哪层贡献最大。处理办法有三个给各层loss加权、按各层正样本数量做归一化、或者用focal loss抑制易分样本的贡献。我在一个项目里就遇到过P2层loss高且不降的情况后来发现是该层正样本数量极少梯度被大量负样本淹没。调整采样策略强制保证每层有最少数量正样本之后问题马上缓解。如果只盯着全局loss调参这类问题很难发现。5.4 训练震荡、不收敛FPN本身很少导致不收敛不收敛多半出在配套环节。常见诱发因素有学习率过大、正负样本比例失衡、主干网络没有加载预训练权重。如果确认这些都没问题检查一下多尺度训练时的图像尺寸范围。某些增强方式可能会把图像缩得太小小目标直接缩没了模型相当于在完全不同的分布上反复横跳自然很难收敛。另外FPN融合后的特征和普通单层特征分布有差异批量归一化层的参数需要重新适配。如果从别的任务直接迁移权重而不做足够轮数的微调前几个epoch容易波动这属于正常现象不要过早下结论。5.5 FPN层选型与适用场景快速对照场景推荐FPN层范围说明小目标密集P2-P5必要时增加P1保分辨率代价是速度下降通用检测P3-P6平衡精度和速度高通量视频、边缘设备P3-P5可裁剪最浅层控制计算量优先保中等目标超大目标/全景场景P4-P7覆盖大目标浅层意义有限这个对照表不是绝对的但它能帮你快速定位自己的场景对应哪种配置避免在小目标场景里用一个默认的通用配置白费力气。最后说几句个人体会FPN不是那种加了就能带来质变的单点技巧但如果你愿意花时间把它的原理、参数和工程细节吃透你会发现它的收益是系统性的。我在好几个项目里验证过同一件事同样一套检测框架FPN层调整得当之后小目标召回率能提升十几甚至几十个百分点这往往比换一个更大更深的骨干网络效果更明显。踩过几次坑之后我现在的习惯是先做数据分析再看网络结构。小目标有多大、密集程度如何、标注质量是否可信这些问题搞清楚了FPN怎么配、锚框怎么设、损失怎么调答案基本会自己浮现出来。希望这篇内容能帮你少走一些我已经走过的弯路。