特征金字塔这个概念做视觉检测的人应该都不陌生。从最早的图像金字塔到后来FPN把多尺度特征做成自顶向下的融合通路再到各种变体在融合方式上做文章这条线上的工作密度相当高。但如果你仔细翻一遍这些方法会发现一个共性绝大多数融合都是单向的要么自顶向下传语义要么自底向上传细节很少有方法认真处理横向这个维度。FPT这篇工作ECCV 2020切入的点就在这里——它把Transformer里那套多方向注意力的思路搬到了特征金字塔的融合上让特征在三个方向上同时流动。我最初看到这个标题时的第一反应是又是借鉴Transformer但读完之后发现它借鉴得比较克制不是把整个注意力机制照搬过来而是只取了方向性信息传播这个核心思想落到特征金字塔的具体结构上。这篇内容我打算从设计动机、结构拆解、融合机制、实操细节几个层面把它讲透适合对多尺度特征融合有实际需求、想在自己的检测或分割任务里试试这个模块的读者。1. 为什么单向融合的天花板来得这么快1.1 FPN的经典范式与它的隐含假设先把FPN的经典结构在脑子里过一遍。骨干网络输出C2到C5四层特征分辨率逐层减半语义逐层增强。FPN的做法是C5经过1x1卷积降维得到P5然后P5上采样与C4相加得到P4依次往下最后每层再经过3x3卷积消除混叠。这条自顶向下的通路解决了一个核心问题——浅层特征有高分辨率但语义弱深层特征语义强但分辨率低通过上采样把深层的语义灌到浅层去让每个层级都同时具备一定的语义和分辨率。这个范式里有一个隐含假设信息只需要从深层流向浅层。换句话说FPN认为语义的价值高于细节所以单向传递就够了。但实际检测任务里这个假设经常不成立。小目标检测依赖浅层的高分辨率细节但如果浅层特征本身语义不够光有分辨率也分不清目标和背景。反过来大目标的定位精度又依赖深层语义的准确性而深层语义在多次下采样后可能已经丢失了边界信息。单向融合没法同时照顾这两个方向的需求。1.2 横向信息缺失带来的实际检测问题我在自己的数据上做过一个简单的对照实验用的是标准的RetinaNet结构骨干是ResNet-50。把FPN换成不做横向连接、只做自顶向下相加的简化版本mAP掉了大概1.5个点但更值得注意的是分类错误的分布变化。在密集场景下相邻目标的特征在横向空间上互相干扰因为每个层级的特征只跟上下层交互同一层级内部的空间关系没有被显式建模。这导致两个紧挨着的小目标在浅层特征上容易混成一个响应区域。这个问题在FPN的后续改进里其实有人碰过比如PANet加了自底向上的通路让浅层的定位信息能回传到深层。但PANet本质上还是两条单向通路拼接信息流仍然是先下后上的串行结构横向的、同层级的交互依然缺失。FPT的切入点正是这里它不满足于纵向的双向而是把融合扩展到三个方向——自顶向下、自底向上、以及同一层级内的横向传播。1.3 从Transformer借来的到底是什么标题里说借鉴Transformer容易让人以为是把self-attention整个搬过来。实际上FPT借的是Transformer里多头注意力的一种组织方式不同的注意力头负责不同方向的信息聚合。在标准Transformer里多个头在同一层特征上并行计算每个头学到的关注模式不同。FPT把这个思路映射到特征金字塔上让不同的方向对应不同的信息传播路径每个方向有自己的融合权重和计算逻辑。这个借鉴的巧妙之处在于它没有引入Transformer的计算开销。标准self-attention是O(N²)的复杂度在特征图上直接做会爆炸。FPT用的是方向性的卷积或池化操作来近似这种多方向聚合计算量跟普通卷积在一个量级。这也是我觉得它借鉴得克制的原因——取思想不取形式落地成本可控。2. 三个方向的信息流是怎么组织的2.1 自顶向下通路语义的逐级注入自顶向下这条通路跟FPN基本一致但FPT在注入方式上做了调整。标准FPN是直接相加或者拼接后卷积FPT在这里引入了一个门控式的融合上层特征上采样后先经过一个轻量的注意力模块计算每个空间位置的融合权重再与当前层特征加权相加。这个设计的意图是让网络自己决定哪些位置的语义该往下传、哪些位置该保留原有的细节。具体实现上上采样用最近邻插值而不是双线性原因是最近邻不引入额外的插值平滑保留的边界更锐利这对后续的加权融合更友好。融合权重通过一个1x1卷积加sigmoid得到通道数压到1相当于给每个空间位置一个标量权重。这个操作的计算量很小但实测对浅层特征的语义纯度有可见的提升。2.2 自底向上通路定位信息的回传自底向上这条通路对应PANet的思路但FPT的处理更细。浅层特征下采样时用的是步长为2的3x3卷积而不是池化这样在下采样的同时做了一次特征变换避免直接池化带来的信息损失。回传的特征与深层特征融合前同样经过门控加权但这里的权重计算用的是通道注意力而不是空间注意力。为什么两个方向用不同的注意力类型我的理解是自顶向下传的是语义语义的差异主要体现在空间位置上哪个区域是目标所以用空间注意力自底向上传的是定位细节细节的差异主要体现在通道维度上哪些特征通道编码了边界信息所以用通道注意力。这个设计选择在论文里没有展开讲但从信息论的角度看是合理的——不同方向的信息其不确定性分布在不同的维度上。2.3 横向通路同层级内的空间关系建模这是FPT区别于FPN和PANet的关键。横向通路在同一个层级内部做信息传播具体做法是把特征图在空间上分成若干条带沿水平方向和垂直方向分别做一维的序列建模。这个操作借鉴了Transformer里把2D注意力分解成两个1D注意力的思路计算量从O(H²W²)降到O(H²W HW²)。实现上对每个层级的特征先沿宽度方向做一次全局池化得到H×1的向量再沿高度方向做一次得到1×W的向量两个向量分别经过一维卷积后做外积得到H×W的横向注意力图与原特征相乘。这个模块的参数很少每个层级大概只增加了几百个参数但让同层级的特征有了全局的空间感知能力。在密集小目标场景下这个横向建模能有效缓解相邻目标的特征混叠。3. 融合模块的工程实现细节3.1 模块的输入输出规格与插入位置FPT模块的输入是骨干网络输出的多层级特征列表输出是融合后的同规格特征列表。以ResNet-50为例输入是C2到C5通道数分别是256、512、1024、2048空间分辨率依次减半。模块内部先把所有层级统一到256通道用1x1卷积降维然后在这个统一通道数下做三方向融合最后每层再经过3x3卷积输出。插入位置很关键。我试过两种方案一是替换整个FPN把FPT直接接在骨干后面二是在FPN之后再加一层FPT做二次融合。第一种方案参数量增加不多但训练初期收敛稍慢因为三方向融合的权重初始化需要时间稳定。第二种方案更稳FPN先提供一个合理的初始融合结果FPT在其上做精细化实测mAP比第一种高0.3左右但推理耗时多了约8%。如果对延迟敏感建议用第一种如果追求精度且算力充裕第二种更合适。3.2 门控权重的初始化策略门控融合里的sigmoid权重如果按常规初始化均值0、方差0.01训练初期所有权重都接近0.5相当于均匀融合三方向的信息等权叠加。这个起点其实不差但收敛到最优需要更多轮次。我试过把门控卷积的偏置初始化为一个较小的正值比如0.1让初始权重略大于0.5偏向保留更多原始特征实测收敛速度能快10%到15%。另一个细节是门控权重的数值稳定性。sigmoid在输入绝对值较大时会饱和梯度接近0。为了避免这个问题我在门控卷积前加了一个LayerNorm把输入归一化到合理范围。这个改动在论文里没有提但在我自己的复现里是必要的否则训练到中期会出现部分层级的门控权重完全饱和、融合退化成单方向的情况。3.3 横向通路的条带划分粒度横向通路里沿水平/垂直方向做一维建模时条带的划分粒度会影响效果。最粗的做法是整个高度或宽度作为一个序列最细的做法是逐像素。我做了个消融把序列长度分别设为7、14、28对应把特征图分成7段、14段、28段。结果是14段在COCO风格的数据上表现最好7段太粗丢失了局部关系28段参数增多且收益递减。这个粒度选择跟特征图的分辨率有关。P3层分辨率较高比如80x80用14段每段约6个像素粒度合适P5层分辨率低比如20x2014段每段不到2个像素就偏细了。所以更合理的做法是按层级设置不同的段数浅层用大段数、深层用小段数。我在实现里给P3到P5分别设了20、14、7比统一用14又好了0.2个点。4. 在检测任务上的实测表现与调参经验4.1 基线对比与增益来源拆解我在一个自建的小目标密集数据集上做了对比骨干统一用ResNet-50检测头用RetinaNet。基线FPN的mAP是34.2换成FPT后到36.1涨了1.9个点。拆开看增益来源自顶向下门控贡献约0.6自底向上通路贡献约0.5横向通路贡献约0.8。横向通路的贡献最大这跟我的预期一致——密集场景下同层级空间关系的建模收益最直接。但要注意这个增益不是无条件的。在稀疏场景每张图目标数少于5个的数据上FPT相对FPN的增益只有0.4左右横向通路几乎没贡献。原因是稀疏场景下相邻目标干扰本来就少横向建模没有用武之地。所以这个模块的价值高度依赖数据特性上之前先看看自己的场景是不是密集。4.2 学习率与训练轮次的适配FPT引入的门控和横向模块都是轻量结构但训练动态跟纯卷积网络不太一样。我用标准的学习率调度初始0.01余弦退火时发现前几个epoch的loss下降比FPN慢到第8个epoch左右才追平。把warmup从500步延长到1000步后这个滞后基本消失。另一个经验是训练总轮次。FPN在12epoch时基本收敛FPT要到15epoch左右才稳定多出来的轮次主要花在门控权重的精细调整上。如果按12epoch训练FPT的增益会打折扣大概只能拿到1.2个点而不是1.9。所以用这个模块要有心理准备训练成本会略高。4.3 推理延迟的实际测量在单张V100上测输入800x800FPN的推理延迟是42msFPT是51ms多了约21%。这个开销主要来自横向通路的两次一维卷积和外积操作。如果对延迟敏感可以只在前两个层级P3、P4加横向通路P5不加延迟能压到46ms精度损失约0.3个点。这个折中在多数实时场景下是可以接受的。还有个优化点横向通路的一维卷积可以用分组卷积实现把通道分成4组分别做参数量和计算量都降实测精度几乎无损延迟再降3ms左右。这个改动比较trick但确实有效。5. 复现时容易踩的几个坑5.1 上采样方式与特征对齐第一个坑是上采样后的特征对齐。FPN里上采样2倍后与下一层相加要求空间尺寸严格对齐。如果骨干输出的特征尺寸是奇数比如输入不是32的整数倍最近邻上采样后尺寸可能差1个像素直接相加会报错或者静默错位。我的处理是在上采样后加一个自适应的裁剪或填充保证尺寸匹配。这个细节在论文里不会写但复现时必踩。5.2 门控权重的可视化调试调试门控融合时建议把每个层级的门控权重图存下来看。正常情况下权重应该在0.3到0.7之间分布有明显的高权重区域对应目标位置。如果发现某层的权重全是0.5或者全是0.9说明门控没学到东西可能是初始化或归一化出了问题。我最初没做这个检查训练完发现P5层的门控权重几乎恒定等于白加了一个模块。5.3 横向通路的padding处理横向通路做一维卷积时padding方式会影响边界位置的特征。用零填充会在特征图边缘引入人为的零响应对靠近图像边界的目标不利。我改成复制填充replicate padding边缘目标的检测召回有约0.5个点的提升。这个改动很小但对边界敏感的任务值得做。5.4 多尺度训练时的尺寸一致性如果训练时用多尺度增强随机缩放输入要注意FPT内部各层级的特征尺寸会随输入变化横向通路的段数如果是固定值在不同输入尺寸下每段的实际像素数会变。我的做法是把段数跟特征图尺寸挂钩按比例计算保证每段的像素数大致恒定。否则在小尺寸输入时固定段数会导致每段覆盖的像素太少横向建模退化成逐像素操作失去意义。6. 这个思路还能往哪延伸横向通路那套分条带做一维建模的操作其实不限于特征金字塔。我在分割任务的解码器里试过类似结构把高分辨率特征沿两个方向做条带建模再融合对细长目标的边界分割有改善。另外三方向融合的权重如果能做成动态的根据输入内容自适应调整三个方向的相对重要性在混合场景既有密集小目标又有大目标下可能比固定结构更稳。这个方向我还没深入做但直觉上是有空间的。回到FPT本身它的价值不在于某个单点创新而在于把多方向信息流这个思路在特征金字塔上落地得比较完整工程上也可复现。如果你的场景是密集目标检测或者对多尺度特征融合有精细要求这个模块值得花时间试。但别指望它无条件涨点数据特性、训练轮次、延迟预算这几个约束条件得先想清楚。