文章目录1 论文信息2 论文主要贡献3 论文创新点4 方法4.1 整体框架4.2 具体模块1双向伪标签传播BPLP2感知相似度修正3加权框融合WBF4候选框数量约束与最终伪标签1 论文信息论文题目PseudoProp: Robust Pseudo-Label Generation for Semi-Supervised Object Detection in Autonomous Driving Systems论文作者Shu Hu, Chun-Hao Liu, Jayanta Dutta, Ming-Ching Chang, Siwei Lyu, Naveen Ramakrishnan发表单位University at Buffalo, SUNYBosch Center for Artificial IntelligenceUniversity at Albany, SUNYAmazon发表会议期刊CVPRW 2022代码链接暂未找到作者公开的官方代码仓库论文链接https://openaccess.thecvf.com/content/CVPR2022W/WAD/html/Hu_PseudoProp_Robust_Pseudo-Label_Generation_for_Semi-Supervised_Object_Detection_in_Autonomous_CVPRW_2022_paper.html2 论文主要贡献本文针对半监督视频目标检测中教师模型生成的伪标签存在漏检False Negatives和误检False Positives的问题提出了 PseudoProp 框架。其核心思想是利用视频帧之间的运动连续性为目标帧补充检测框并通过感知相似度和加权框融合提高伪标签的可靠性。论文主要贡献如下提出双向伪标签传播Bidirectional Pseudo-Label Propagation, BPLP利用过去帧和未来帧的运动信息将检测框传播到目标帧弥补教师模型的漏检。提出感知相似度的加权框融合Similarity-aware Weighted Boxes Fusion, SWBF利用源帧与目标帧的视觉特征相似度修正传播框置信度并通过加权框融合和置信度缩放减少冗余框及错误伪标签。误检将伪标签生成方法融入 Teacher-Student 半监督学习框架通过伪标签训练、人工标注数据微调和教师模型更新迭代提升视频目标检测性能。3 论文创新点PseudoProp 的核心思想是视频帧之间存在时间连续性相邻帧中的目标位置和外观具有一定关联。因此即使教师模型在某一帧中漏检也可以利用前后帧的检测结果和运动信息生成候选框。注意 每段视频只随机选取3帧生成伪标签再进行监督创新点一双向伪标签传播BPLP传统伪标签方法通常独立处理每一帧无法充分利用视频时序信息。BPLP 从目标帧前后的源帧出发分别进行向前传播和向后传播将多个来源的检测框映射到同一个目标帧从而补充漏检目标。创新点二感知相似度的加权框融合SWBF双向传播会产生多个候选框其中既可能包含有效的补充检测也可能引入定位偏差和错误检测。SWBF 首先比较源帧与目标帧对应图像区域的高层视觉特征利用感知相似度修正传播框的置信度随后按照类别和 IoU 对候选框进行聚类使用置信度加权平均融合重复框并根据聚类中的框数量进一步缩放置信度。4 方法4.1 整体框架PseudoProp 由 Teacher-Student 半监督学习框架、运动预测与双向伪标签传播、感知相似度加权框融合三个部分组成。首先利用人工标注数据训练初始教师模型并对无标签视频帧进行预测获得初始伪标签。随后使用 FlowNet2 估计光流并结合 SDC-Net 预测逐像素运动信息将过去帧和未来帧的检测框传播到目标帧。接着通过 SWBF 修正传播框置信度、融合重复框并降低部分错误框的置信度得到最终伪标签。学生模型使用伪标签数据进行训练再在人工标注数据上微调之后用更新后的学生模型替换教师模型进入下一轮迭代。图 2本文提出的 PseudoProp 模型整体示意图该模型用于半监督目标检测场景下的鲁棒伪标签生成。左侧半监督学习的师生框架。虚线表示 “训练” 与 “替换” 操作仅在特定迭代轮次第 0 轮迭代与第 T1 轮迭代执行。右侧本文提出的相似性感知加权框融合SWBF模块细节。4.2 具体模块1双向伪标签传播BPLPBPLP 的目标是利用视频运动信息弥补教师模型的漏检。设X t X_tXt​表示第t tt帧图像Y t Y_tYt​表示教师模型在该帧预测得到的边界框集合。每个框包含类别、位置和置信度。论文使用 FlowNet2 估计相邻帧光流再利用 SDC-Net 根据连续帧和光流信息预测逐像素运动向量。单步运动预测可表示为{ X ^ t 1 B ( M ( X t − τ : t 1 , V t − τ 1 : t 1 ) , X t ) , Y ^ t 1 T ( M ( X t − τ : t 1 , V t − τ 1 : t 1 ) , Y t ) . \begin{cases} \hat{X}_{t1}\mathcal{B}\big(\mathcal{M}(X_{t-\tau:t1},V_{t-\tau1:t1}),X_t\big),\\ \hat{Y}_{t1}\mathcal{T}\big(\mathcal{M}(X_{t-\tau:t1},V_{t-\tau1:t1}),Y_t\big). \end{cases}{X^t1​B(M(Xt−τ:t1​,Vt−τ1:t1​),Xt​),Y^t1​T(M(Xt−τ:t1​,Vt−τ1:t1​),Yt​).​其中M \mathcal{M}M表示运动预测网络B \mathcal{B}B表示利用双线性采样生成预测图像的操作T \mathcal{T}T表示根据预测运动将伪标签映射到目标帧的操作。对于像素位置( u , v ) (u,v)(u,v)其映射位置为( u , v ) ↦ ( ⌊ u d u ⌋ , ⌊ v d v ⌋ ) . (u,v)\mapsto \left( \lfloor ud_u\rfloor, \lfloor vd_v\rfloor \right).(u,v)↦(⌊udu​⌋,⌊vdv​⌋).其中( d u , d v ) (d_u,d_v)(du​,dv​)为预测的像素运动向量。当传播距离k 1 k1k1时原始运动预测只能完成单个时间步的映射因此需要将传播路径上的多个局部运动映射组合起来将源帧的检测框逐步映射到目标帧。论文定义传播偏移集合K { − k , … , − 1 , 1 , … , k } . K\{-k,\ldots,-1,1,\ldots,k\}.K{−k,…,−1,1,…,k}.对于目标帧t 1 t1t1每个i ∈ K i\in Ki∈K对应一个源帧t 1 − i t1-it1−i分别进行前向或后向传播。最终目标帧的候选伪标签集合为Y t 1 . Y t 1 t e a c h e r ∪ ⋃ i ∈ K Y ^ t 1 i . Y_{t1} . Y_{t1}^{\mathrm{teacher}} \cup \bigcup_{i\in K}\hat{Y}_{t1}^{i}.Yt1​.Yt1teacher​∪i∈K⋃​Y^t1i​.其中Y t 1 t e a c h e r Y_{t1}^{\mathrm{teacher}}Yt1teacher​是目标帧自身的教师预测框Y ^ t 1 i \hat{Y}_{t1}^{i}Y^t1i​是从对应源帧传播过来的框。所有来源的候选框汇集到目标帧后再交给 SWBF 统一处理。问题a 教师模型在源帧的检测框可能是正确的但运动估计不准确导致传播到目标帧后框偏离真实目标甚至落在背景上。问题b 教师模型本身就发生误检例如把广告牌误认为卡车。即使这个错误检测在连续帧中都存在传播后的框也可能与源帧具有很高的视觉相似度。2感知相似度修正运动传播可能使检测框发生偏移甚至将错误框传播到目标帧。因此论文通过比较源帧和目标帧对应图像区域的高层视觉特征判断传播后的区域是否仍具有相似的视觉信息。具体而言首先根据源帧原始框和目标帧传播框裁剪对应的图像区域然后使用预训练的 EfficientNet-B1 提取特征并采用余弦相似度计算两个区域的特征相似程度。传播框的置信度根据相似度进行修正S ^ t 1 i , z . S t 1 − i z ⋅ sim ⁡ ( C ( P ^ t 1 i , z ) , C ( P t 1 − i z ) ) . \hat{S}_{t1}^{i,z} . S_{t1-i}^{z} \cdot \operatorname{sim} \left( C(\hat{P}_{t1}^{i,z}), C(P_{t1-i}^{z}) \right).S^t1i,z​.St1−iz​⋅sim(C(P^t1i,z​),C(Pt1−iz​)).其中S t 1 − i z S_{t1-i}^{z}St1−iz​是源帧第z zz个检测框的原始置信度P t 1 − i z P_{t1-i}^{z}Pt1−iz​是源帧框的位置P ^ t 1 i , z \hat{P}_{t1}^{i,z}P^t1i,z​是传播后的位置C ( ⋅ ) C(\cdot)C(⋅)表示特征提取函数。论文将相似度归一化到[ 0 , 1 ] [0,1][0,1]因此视觉特征相似度较低的传播框会被赋予较低置信度。该修正主要针对传播框目标帧自身的教师检测框保留其原始置信度。3加权框融合WBF经过感知相似度修正后目标帧仍然包含教师模型原始框和多个传播框。SWBF 首先按照类别拆分候选框再在同一类别内部依据 IoU 进行聚类。论文实验采用的 IoU 阈值为0.5 0.50.5同一聚类中的框被视为可能对应同一个目标。设聚类r rr中共有B BB个框第l ll个框的置信度和位置分别为C r l C_r^lCrl​和P r l P_r^lPrl​则平均置信度为C r 1 B ∑ l 1 B C r l . C_r\frac{1}{B}\sum_{l1}^{B}C_r^l.Cr​B1​l1∑B​Crl​.融合后的边界框位置为P r ∑ l 1 B C r l P r l ∑ l 1 B C r l . P_r \frac{\sum_{l1}^{B}C_r^lP_r^l} {\sum_{l1}^{B}C_r^l}.Pr​∑l1B​Crl​∑l1B​Crl​Prl​​.因此置信度较高的框对最终定位结果具有更大的影响。WBF 会将每个聚类中的多个候选框融合为一个代表框而没有匹配对象的框也可以形成独立聚类。4候选框数量约束与最终伪标签仅使用 WBF 仍然可能保留错误检测。例如某个错误目标在目标帧中产生高置信度检测框但没有得到其他时间位置的候选框支持。为此论文进一步根据聚类中的框数量缩放平均置信度C r f i n a l . C r ⋅ min ⁡ ( B , ∣ K ∣ 1 ) ∣ K ∣ 1 . C_r^{\mathrm{final}} . C_r \cdot \frac{\min(B,|K|1)}{|K|1}.Crfinal​.Cr​⋅∣K∣1min(B,∣K∣1)​.其中B BB为聚类中的候选框数量∣ K ∣ |K|∣K∣为传播偏移数量∣ K ∣ 1 |K|1∣K∣1表示目标帧自身与所有传播来源对应的时间位置数量。当支持框数量不足时融合后的置信度会降低当框数量达到预期来源数量时不再额外缩放。最终每个类别的各个聚类只保留融合后的代表框及其置信度构成目标帧的最终伪标签集合。