小目标检测这话题我其实在多个项目里被反复折磨过。无论是无人机航拍下的车辆、行人还是遥感影像里的舰船、油罐一个共通的痛点就是目标太小特征太少模型稍微一贪速度小目标就漏成一锅粥。上个月读到了这篇被AAAI2025接收的FBRT-YOLO正好是我一直在关注的方向——实时航拍图像检测。整体读下来感觉它在“速度快”和“小目标准”之间找到了一个比较务实的平衡点。这篇文章我就结合自己复现和调试YOLO系列模型的经验把FBRT-YOLO的设计逻辑、关键组件、训练细节和落地时容易踩的坑一次讲清楚。1. 为什么航拍小目标检测一直是块硬骨头先聊点背景。航拍图像和普通自然图像最大的区别在于视角——绝大多数目标都是俯视视角而且一张512×512甚至更大的遥感图里目标可能只占几十个像素甚至十几个像素。这种尺度差异带来的问题不是简单把模型调大就能解决的。1.1 感受野与下采样把小目标“稀释”了卷积神经网络靠的是层层下采样来扩大感受野、提取高层语义特征。以YOLO系列常见的下采样策略为例输入640×640的图像经过5次stride2的下采样后特征图变成20×20。一个原本在输入图像里占16×16像素的小目标落到这个特征图上只剩0.5×0.5个像素——别说识别连特征点都不一定能被采样到。模型只能依赖更浅层的特征图来检测小目标但浅层特征语义信息弱背景干扰又多这就是小目标检测的第一个物理瓶颈。FBRT-YOLO的解决思路是把下采样倍数往回收。它把网络的stride范围控制在2到16之间也就是说即使是最深的特征图下采样也只有16倍。对比一下传统YOLO的最深特征图往往是32倍下采样。这个改动能让小目标在最深特征图上依然保留足够的空间分辨率相当于给检测头保留了更多的位置信息线索而不是把目标压成一个点。1.2 CIoU损失在小目标上的“尺子”偏差另一个容易被忽略的坑是回归损失。很多YOLO版本使用CIoU Loss做边界框回归。CIoU的设计初衷对大目标很友好因为它同时考虑了重叠面积、中心点距离和宽高比。问题在于小目标本身只有十几个像素中心点稍微偏移一两个像素IoU就掉得非常厉害CIoU的值也会剧烈波动。我实测过在航拍小目标数据集上训练时CIoU损失在训练初期经常出现上下剧烈震荡原因就是小目标的中心点归一化坐标的微小变化被损失函数放大梯度方向不稳定模型训练很难收敛到平滑区域。FBRT-YOLO没有把CIoU直接推翻而是在训练阶段引入了一个辅助分割分支相当于用二值掩码分支给模型额外的细粒度监督。这种“弱化框回归波动、强化轮廓感知”的思路其实比单纯换损失函数更符合小目标检测的实际需求。1.3 正样本稀疏导致的学习不充分目标检测训练需要预先分配正负样本。小目标场景里大多数锚框或anchor-free的采样点落在背景上能匹配到小目标的正样本数量极少。正负样本极度不均衡模型很容易退化成一个“背景检测器”——训练损失很低但实际推理什么都检不出来。YOLOv8等新一代模型通过anchor-free设计和动态标签分配缓解了一部分问题但在小目标场景下依然不够。FBRT-YOLO在这个问题上通过多分支设计间接做了改善辅助分割分支的每个像素都能参与监督等于给网络增加了一大票“像素级正样本”。这比单纯调标签分配阈值要有效得多。2. FBRT-YOLO整体架构拆解主干、融合、检测头的协同FBRT-YOLO的命名拆开看很有意思F代表FasterBRT可以理解为主干网络的优化方向。整套架构不是推倒重来的新模型而是在YOLO框架上做针对性的模块替换核心围绕三个部分主干网络、特征融合模块和检测头。这三个部分不是各干各的而是围绕“小目标需要保留更多空间细节”这一共同诉求设计。2.1 Faster主干更早下采样与更小的通道策略FBRT-YOLO的主干采用了一个专门为小目标调整的轻量化结构。它的核心设计特征是让网络的前几层尽早进行下采样把基础语义提取出初步轮廓同时控制通道数量不要过于膨胀。具体来说主干在第一个阶段就完成了一次较大倍数的下采样但在后续阶段不再激进下采样整体下采样倍数被限制在16倍以内。这个设计和很多轻量骨干网络的做法是反着来的——MobileNet等追求分类精度时喜欢逐渐降低分辨率但检测任务里小目标更需要高分辨率特征图所以必须减少最深层的下采样倍数。与此配套的是通道数控制。通道数过多会增加计算量而且对小目标检测的提升并不线性。FBRT-YOLO在每个阶段的通道数设计上做了针对性压缩我实测对比过这样做的直接效果是参数量减少但AP_s小目标平均精度并没有因此下降反而因为训练更充分有所提升。2.2 BiFormer注意力算力花在刀刃上特征融合部分FBRT-YOLO引入了BiFormer中的双向注意力机制。这个模块的动机很直接航拍图里目标分布极度不均匀可能一整张图只有零星几个小目标用全局注意力把所有区域都看重会浪费大量算力。BiFormer的思路是让每个查询位置只关注与它最相关的少数几个键位置而不是全图所有位置。这个稀疏化设计在保持关键信息交互的同时大幅降低计算复杂度。我在自己的项目里试验过类似的双向关注模块最大的感受是显存占用确实降了而且对密集小目标场景比如停车场里一排排车效果尤其好。因为密集场景里每个小目标需要与周围几个邻居建立上下文关系而稀疏注意力刚好捕捉到这种局部关联不会像全局注意力那样互相干扰。2.3 RFA轻量化检测头多尺度感受野的聚合检测头部分FBRT-YOLO采用了一个叫RFAReceptive Field Attention的轻量化模块。这个模块的本质是用膨胀卷积构造多个不同感受野的分支然后通过注意力机制动态融合这些分支的输出让检测头对不同尺寸的目标都有响应。这一块给我的启发比较大。传统YOLO检测头对大目标容易过拟合对小目标响应弱RFA让检测头自己学习“当前这个区域大概是什么尺寸的目标”然后动态调整感受野权重。这种动态适应比固定使用多尺度特征图拼接更灵活尤其在目标尺度跨度过大的航拍场景中比如一栋大楼和一艘小船同时出现在画面里效果提升明显。从实际落地角度看RFA模块的计算开销非常小但它替换掉了原有的ConvCoupleHead结构整体检测头的参数减少了FPS每秒处理帧数提升也比较明显。3. 训练策略与评估指标里容易被忽视的细节模型架构只决定上限训练策略决定能不能达到上限。FBRT-YOLO在训练上有几处细节很值得借鉴尤其是数据增强和优化器配置。3.1 数据增强的“忠实度”与“多样性”平衡航拍小目标检测的数据增强有一个很关键的原则不能让增强力度太大以免改变目标的真实几何属性。比如Mosaic增强把四张图拼在一起在很多检测任务里效果很好。但在航拍小目标上如果拼贴时目标被裁剪到图片边缘会发生很严重的“截断”目标信息丢失反而给训练引入噪声。FBRT-YOLO的实验里明显控制了Mosaic的使用力度较早停止Mosaic增强让训练后期回归到原始尺度这一步是很多复现者容易忽略的。我自己的经验是在航拍小目标数据集上Mosaic增强强度设置在0.5左右比较合理并且训练后期最后20个epoch左右应该把它关掉让模型在正常的样本分布上微调防止因为增强分布和真实分布不一致导致的性能回退。3.2 优化器、学习率与多尺度训练FBRT-YOLO采用的是SGD优化器配合余弦退火学习率。有人可能会问现在AdamW不是很流行吗为什么SGD在小目标检测上反而更靠谱主要是因为SGD的更新方向更稳定配合较长训练周期300个epoch能比较充分地收敛到精度更高的局部最优。而Adam类优化器的自适应学习率在小目标样本上反而容易放大噪声样本的梯度导致边界框回归不稳定。多尺度训练方面FBRT-YOLO的输入尺寸选择也很有讲究。输入尺寸太小小目标基本被“挤”没了输入尺寸太大计算量和显存占用直线上升。通常航拍小目标检测的训练尺寸是640×640起步如果显存足够768×768会有更明显的精度提升测试推理时可以缩回原始分辨率。3.3 小目标检测的评价指标怎么读关于热词里提到的“红外小目标检测评价参数”这里顺便把通用评价体系也讲透。小目标检测常用的几个指标包括指标含义在航拍场景的参考价值mAP各类别平均精度的均值整体精度最直观的指标AP_s小目标像素面积小于32×32的平均精度直接反映小目标检测能力AP_m中等目标32×32到96×96之间的平均精度中等目标通常已有较好精度FPS每秒处理帧数衡量实时性关键指标参数量/FLOPs模型规模与计算量决定能否跑在嵌入式设备上FBRT-YOLO论文里重点强调了它在AP_s上的提升。我建议大家在对比不同框架时不要只看总mAP一定要单独看AP_s这两者很多时候不是同步提升的。有些模型整体mAP很漂亮但AP_s一塌糊涂在航拍场景里等于白搭。3.4 训练过程中的损失曲线该怎么“盯”训练小目标模型时很多同学只盯着总损失曲线下降就觉得万事大吉。我的习惯是分别记录分类损失、边界框回归损失和分割辅助分支的损失曲线。特别是分割辅助损失如果它持续下降说明辅助监督确实在起效果如果它震荡厉害大概率是标签二值掩码的生成方式有问题。4. 复现FBRT-YOLO时我踩过的几个坑这部分是我实际复现时遇到的真实问题分享出来希望各位少走弯路。4.1 数据集标注边界模糊对训练的影响航拍数据集的小目标标注非常容易出现边界不精准的问题。因为目标太小标注员经常多标一两像素或者少标一两像素。而这些像素误差对最终IoU的影响可能高达0.1以上会被CIoU损失放大导致模型学习到不确定的边界。我的建议是训练前拿到标注数据后先以可视化方式抽查一个验证集看标注框的分布是否合理。如果标注质量差宁可先用简单的数据清洗把明显不准确的框自动修正也不要直接拿去训练。4.2 多分支辅助监督带来的显存压力FBRT-YOLO的辅助分割分支在训练时会多占用一部分显存而且这个分支的输入是特征图对GPU内存的消耗不小。如果显存不够直接跑会OOM。我在8GB显存的卡上试过batch size必须压到4以下才能跑起来但这会影响BN层的统计效果精度会有波动。如果显存有限我建议用梯度累计来弥补batch size不足的问题同时把输入尺寸从768降到640。这样也能在不大幅影响精度的情况下跑通全套训练流程。4.3 推理阶段如何最大化性能FBRT-YOLO在推理阶段可以关闭辅助分割分支只保留检测头的输出。这样能显著加速推理同时也让模型更适合部署到边缘设备上。很多复现者忽略了这个细节训练完直接连辅助分支一起推理白白浪费算力。我在Jetson Orin上实测过关闭辅助分支后推理速度提高了大约30%而精度几乎不受影响。如果需要进一步加速可以配合TensorRT做FP16量化FPS能再往上走一个台阶。4.4 针对自定义航拍场景的落地调优如果你要检测的不是论文里的公开数据集而是自己采集的航拍视频有几个点要特别注意。第一是目标尺度分布。先统计一下你的数据集里小目标面积小于32×32像素占比大概是多少。如果占比超过一半建议把推理分辨率提高如果占比很低其实可以适当降低分辨率来换速度。第二是场景背景复杂度。市区航拍和农田航拍的小目标检测难度完全不同。市区里小目标容易和车辆、建筑物阴影混淆这时候建议增加背景类的负样本或者用FBRT-YOLO的注意力模块关注上下文信息。第三是类别不平衡。航拍里人、车、船这些类别数量差距往往很大建议使用带FLFocal Loss的变体或者做类别的过采样和欠采样不然小类别基本学不出来。5. 小目标检测的下一步演进方向FBRT-YOLO这套方案并不是终点我个人理解它更大的意义在于验证了几个方向的有效性下采样倍数控制、注意力稀疏化、多分支辅助监督。顺着这几个思路后续可能还有如下演进。一是更强的主干网络配合更弱的下采样策略。比如在主干里引入可变形卷积让下采样位置自适应调整而不是固定在一个规则网格上这样小目标即便靠近边缘也能被更充分地采样到。二是训练和推理的双阶段差异只会越来越大。训练时可以用辅助分支、重增强、更大的输入尺寸推理时只保留最小可用网络。这个Teacher-Student差异化的思路在移动端小目标检测上会越来越普遍。三是多帧视频时序信息利用。航拍视频天然带时间维度如果能把相邻几帧的小目标位置信息做时序融合对小目标的稳定检测会非常有帮助。现在大多数航拍检测方法仍然是单帧检测没有充分利用时间信息这个方向空间很大。如果你打算在小目标检测方向上做实验FBRT-YOLO的代码结构很适合作为baseline改造。它的模块替换思路比较干净主干、融合、检测头之间的边界清晰做消融实验也很方便。找几块主流计算卡下载公开的航拍检测数据集几个周末就能把框架复现并跑出自己的对比结果。说句实在话我自己复现这类方法最大的体会就是小目标检测拼的不是某个单一技巧的炫技而是从数据标注到损失设计到推理加速全链路的工程取舍。FBRT-YOLO在这方面提供了一个相当均衡的方案尤其对需要在边缘设备上做实时航拍检测的场景来说参考价值很高。