1. 跨模态ReID与CNN特征提取的核心定位跨模态行人重识别Cross-Modal Person Re-Identification要解决的问题很具体同一目标人物在可见光相机和红外相机下外观差异极大算法需要判断两张不同模态的图像是否属于同一个人。这个任务在安防监控、夜间巡检、多摄像头轨迹关联等场景里是刚需因为红外相机能在低照度下工作而可见光相机在白天能提供更丰富的纹理和颜色信息两者天然互补。我整理这一系列论文笔记的出发点很简单跨模态ReID领域从2017年前后开始密集出成果到2020年之后基于CNN的方案已经非常成熟但很多刚入门的同学面对大量论文容易迷失。尤其是CNN特征提取这条线从骨干网络选型、模态对齐策略、损失函数设计到训练技巧每个环节都有大量细节值得拆解。这篇总结聚焦CNN路线把我在读论文和复现过程中积累的理解系统性地梳理出来。适合谁看如果你正在做跨模态ReID的课题或者需要在工程项目中落地一个可用的跨模态检索模块又或者你只是想搞清楚CNN在这类任务中到底怎么提取和融合特征这篇内容应该能帮你省下不少翻论文和踩坑的时间。我会尽量把每篇论文的核心设计动机、关键模块、实验结论讲透同时补充一些论文里不会写的实操经验。2. 跨模态ReID的问题定义与技术挑战2.1 跨模态ReID到底难在哪里先把问题定义说清楚。给定一张查询图像可能来自可见光或红外模态系统需要从候选库中找出同一身份的所有图像这些候选图像可能来自另一模态。这和单模态ReID最大的区别在于模态间的外观差异往往比身份间的差异还大。举个例子同一件衣服在可见光下是深蓝色在红外图像里可能呈现为浅灰色甚至接近白色因为红外成像反映的是热辐射分布而非颜色反射。这意味着传统ReID中依赖颜色直方图、纹理描述子的方法在跨模态场景下几乎失效。更麻烦的是不同人的体温分布差异远小于不同衣服的颜色差异所以红外模态下的类间区分度本身就低。具体来说跨模态ReID面临几个核心挑战模态鸿沟Modality Gap可见光和红外图像的特征分布差异巨大直接在同一特征空间比较效果很差。类内差异大同一个人在不同模态、不同角度、不同姿态下的外观变化剧烈。类间差异小红外模态下不同人的外观可能非常相似尤其是穿着相似的情况下。数据标注成本高跨模态配对数据需要同一人在两种模态下都被采集到采集和标注成本远高于单模态。2.2 CNN方案为什么成为主流在Transformer大规模进入ReID之前CNN是绝对主力。原因很直接CNN在局部特征提取上有天然优势而ReID任务恰恰需要关注衣服纹理、身体部件、鞋子款式等局部细节。ResNet、DenseNet这类骨干网络在ImageNet上预训练后迁移到ReID任务上能快速收敛而且推理速度可控适合实际部署。CNN路线的核心思路可以概括为用共享或部分共享的骨干网络提取两种模态的特征然后通过模态对齐模块把特征映射到公共空间最后用度量学习损失拉近同身份跨模态样本的距离、推远不同身份样本的距离。这个框架看起来简单但每个环节都有大量设计选择后面我会逐一拆解。3. CNN特征提取论文的核心技术路线拆解3.1 双流共享骨干网络最经典的基线方案早期跨模态ReID论文大多采用双流网络结构即两个分支分别处理可见光和红外图像但共享部分或全部卷积层参数。共享参数的理由很直观虽然两种模态的输入分布不同但底层卷积学到的边缘、角点等低级特征具有通用性共享参数可以减少参数量并促进模态间的特征对齐。以某篇经典工作为例它采用ResNet-50作为骨干前三个阶段共享参数第四个阶段分开然后在特征层面做融合。这种部分共享的策略比完全共享或完全不共享效果都好原因是浅层特征通用性强深层特征模态特异性强分开处理更合理。实操中需要注意共享层的初始化很关键。如果直接用ImageNet预训练权重初始化两个分支然后强行共享参数训练初期梯度冲突会比较严重。我试过的一种做法是先用单模态数据分别预训练两个分支再加载到共享结构中微调收敛更稳定。3.2 模态对齐模块把两种特征拉到同一空间模态对齐是跨模态ReID的核心。常见做法有几类第一类是特征级对齐通过一个共享的特征变换网络比如全连接层或1x1卷积把两种模态的特征映射到同一维度然后用对抗损失或MMD损失约束两个分布接近。这类方法实现简单但对齐效果依赖损失权重调参。第二类是像素级对齐用生成模型把红外图像转换成可见光风格或者反过来然后在同一模态下做ReID。这类方法能缓解模态差异但生成质量直接影响最终效果而且引入额外计算开销。第三类是度量级对齐不显式对齐特征分布而是直接设计跨模态度量损失让同身份跨模态样本在特征空间中靠近。这类方法在近年论文中越来越主流因为它避免了生成模型的不稳定性。我个人的经验是特征级对齐加度量级对齐的组合最实用。纯像素级对齐在数据量不足时容易过拟合而且生成图像的伪影会引入噪声。3.3 损失函数设计度量学习的核心战场跨模态ReID的损失函数通常由三部分组成身份分类损失标准的交叉熵损失把ReID当作分类任务每个身份一个类别。这能保证特征具有身份判别性。三元组损失拉近正样本对、推远负样本对。跨模态场景下正样本对通常指同一身份不同模态的图像负样本对指不同身份的图像。模态对齐损失约束两种模态特征分布的距离比如MMD、对抗损失或中心损失。这里有个关键细节三元组损失的采样策略对结果影响极大。随机采样容易选到“简单”三元组损失很快降为零但模型没学到东西。实践中常用难样本挖掘即在一个batch内选择最难的正样本和最难的负样本。但难样本挖掘也有风险训练初期如果全是难样本模型容易崩溃。我通常采用渐进式策略前几十个epoch用随机采样之后逐步增加难样本比例。另一个经验是损失权重的设置。身份损失和三元组损失的权重比通常在1:1到1:3之间模态对齐损失的权重需要根据具体方法调整一般不超过主损失的0.5倍否则会干扰身份判别性的学习。4. 关键论文的模块设计与实现细节4.1 基于双流ResNet的基线复现要点假设我们要复现一个经典的双流基线骨干用ResNet-50输入图像统一缩放到256x128。具体实现时有几个细节容易出错第一输入归一化。可见光图像用ImageNet的均值和方差归一化没问题但红外图像是单通道需要复制成三通道后再归一化。如果直接用单通道输入预训练权重无法加载。复制通道后归一化参数建议用红外数据集自身的统计量重新计算而不是照搬ImageNet的。第二批归一化层的处理。共享骨干中的BN层在两种模态间共享统计量这可能导致统计量偏向某一模态。一种改进是使用模态特定的BN层即每个模态有自己的BN参数但卷积核共享。这个改动很小但实测能带来1-2个百分点的提升。第三数据增强。跨模态ReID的数据增强需要谨慎。随机擦除、随机裁剪对可见光有效但对红外图像可能破坏热辐射分布的连续性。我通常对红外图像只做水平翻转和轻微的颜色抖动针对伪彩色红外不做强增强。4.2 模态特定BN与共享卷积的组合策略这个策略值得单独展开。核心思想是卷积核负责提取通用特征BN层负责处理模态特定的分布差异。实现上每个BN层维护两套均值和方差前向传播时根据输入模态选择对应的统计量。代码层面的改动大概是这样class ModalBN(nn.Module): def __init__(self, num_features, num_modals2): super().__init__() self.bns nn.ModuleList([ nn.BatchNorm2d(num_features) for _ in range(num_modals) ]) def forward(self, x, modal_id): return self.bns[modal_id](x)这个改动带来的参数量增加很小但效果提升明显。原因在于红外和可见光图像的激活分布差异很大共享BN会强制用同一套统计量归一化导致某一模态的特征被“拉偏”。分开统计后每个模态的归一化更准确后续卷积层接收到的输入分布更一致。需要注意的是模态特定BN在训练时需要确保每个batch内两种模态的样本数量均衡。如果一个batch全是可见光样本红外BN的统计量更新会不充分。实践中常用交替采样或按比例采样来保证。4.3 特征融合与注意力机制的引入单纯的全局平均池化会丢失空间信息而ReID任务中身体不同部位的判别性不同。注意力机制可以让网络关注更有判别力的区域。常见做法是在骨干网络后面加一个空间注意力模块对特征图的不同位置加权。跨模态场景下注意力模块也需要考虑模态差异。一种有效设计是注意力模块的权重生成部分模态共享但输入特征分别来自两个模态这样注意力能学习到跨模态通用的判别区域。我复现过的一个方案是在ResNet的stage4后面加一个轻量级的通道注意力模块参数量不到0.1M但mAP提升了约2个百分点。注意力模块的位置很关键放在太浅层效果不明显放在太深层计算量又大。stage3和stage4之间是比较平衡的选择。5. 训练策略与调参经验实录5.1 学习率与优化器的选择跨模态ReID的训练通常用SGD或Adam。我的经验是如果骨干是预训练的ResNetSGD配合动量0.9和权重衰减5e-4更稳定初始学习率设在0.01到0.05之间用余弦退火或阶梯下降。Adam收敛更快但最终精度有时略低适合快速实验。有个细节共享层和模态特定层的学习率可以不同。共享层加载预训练权重后学习率设小一些比如基础学习率的0.1倍模态特定层从头训练学习率设大一些。这种分层学习率策略能防止预训练权重被过快破坏。5.2 Batch Size与采样策略的平衡跨模态ReID的batch构成很讲究。标准做法是每个batch包含P个身份每个身份K张图像其中可见光和红外各占一定比例。比如P8K4每个身份2张可见光加2张红外总batch size为32。如果显存允许batch size尽量大一些因为三元组损失需要足够的负样本才能有效挖掘。我试过batch size从32降到16mAP掉了将近3个百分点。如果显存不够可以用梯度累积来模拟大batch。采样策略上要保证每个batch内两种模态的样本数量大致均衡。如果某一模态样本过少可以适当重复采样但要注意不要过度重复导致过拟合。5.3 训练轮次与早停策略跨模态ReID通常在SYSU-MM01或RegDB数据集上训练。SYSU-MM01数据量大一些通常训练60-80个epochRegDB小一些30-50个epoch就能收敛。早停策略看验证集上的mAP或Rank-1。但要注意跨模态ReID的验证集评估需要构造跨模态检索对评估协议和单模态不同。我见过有人直接用单模态评估方式结果指标虚高但实际效果很差。一定要按照标准协议来比如SYSU-MM01的全搜索模式或室内搜索模式。6. 常见问题与排查技巧实录6.1 训练损失不下降或震荡严重这是最常见的问题。排查顺序如下第一检查数据加载是否正确。跨模态ReID的数据集通常有复杂的目录结构可见光和红外图像需要正确配对。我踩过的坑是标签映射错误导致同一个人被当成不同类别损失自然降不下去。第二检查学习率是否过大。共享骨干加载预训练权重后如果学习率设得和从头训练一样大梯度会破坏预训练特征。先把共享层学习率调小一个数量级试试。第三检查损失权重。如果模态对齐损失权重过大模型会过度关注模态对齐而忽略身份判别表现为分类损失下降但检索指标不升。6.2 跨模态检索指标远低于单模态如果单模态ReID指标正常但跨模态指标很差说明模态鸿沟没有被有效弥合。排查方向模态对齐模块是否生效可以可视化两种模态特征的t-SNE分布如果两个分布明显分离说明对齐没做好。模态特定BN是否配置正确如果误用了共享BN模态差异会被放大。数据增强是否过度红外图像被强增强后可能丢失判别信息。6.3 模型过拟合跨模态ReID的数据集规模通常不大过拟合很常见。表现是训练集指标很高但测试集指标停滞甚至下降。应对措施增加Dropout或DropBlock尤其是在全连接层前。使用标签平滑把硬标签换成软标签减少模型对训练样本的过度自信。引入随机擦除增强但注意红外模态要谨慎使用。减小模型容量比如把ResNet-50换成ResNet-34或者减少特征维度。6.4 推理速度优化实际部署时推理速度往往比精度更重要。CNN路线的优势在这里体现明显。优化手段包括把骨干网络换成MobileNet或ShuffleNet精度损失通常在2-3个百分点但速度提升3-5倍。用TensorRT或ONNX Runtime做推理加速FP16量化后速度能再提升一倍左右。特征维度从2048降到512甚至256检索时的距离计算量大幅减少精度损失很小。下面这张表整理了我遇到过的典型问题和对应解法问题现象可能原因排查方法解决措施损失震荡不收敛学习率过大或数据标签错误检查标签映射降低学习率分层学习率共享层用0.1倍基础学习率跨模态指标远低于单模态模态对齐失效t-SNE可视化特征分布检查模态特定BN调整对齐损失权重训练集高测试集低过拟合对比训练和测试损失曲线增加Dropout标签平滑减小模型推理速度慢骨干网络过重测各阶段耗时换轻量骨干量化降特征维度某模态指标特别差模态样本不均衡统计各模态样本数和指标均衡采样模态特定学习率7. 数据集与评估协议的实操要点7.1 常用数据集的特点与使用建议跨模态ReID最常用的两个数据集是SYSU-MM01和RegDB。SYSU-MM01包含491个身份由4个可见光相机和2个红外相机采集图像数量约30万张。RegDB包含412个身份每个身份有10张可见光和10张红外图像规模小很多。使用建议SYSU-MM01适合验证方法的泛化能力因为相机数量多、视角变化大。RegDB适合快速实验因为数据量小、训练快。但RegDB上容易过拟合报告结果时最好给出多次随机划分的平均值。7.2 评估协议中的坑SYSU-MM01有两种评估模式全搜索模式和室内搜索模式。全搜索模式用所有可见光图像作为候选库室内搜索模式只用室内相机图像。两种模式的指标差异很大论文里必须明确说明用的是哪种。另一个坑是单模态查询和跨模态查询的区分。跨模态ReID的标准评估是用红外图像查询可见光库或者反过来。如果评估时混入了同模态查询指标会虚高。我见过一些复现工作因为评估协议搞错报告的结果比原论文高很多实际是评估方式不对。8. 从CNN到后续方案的过渡思考CNN路线在跨模态ReID上已经非常成熟但2021年之后Transformer方案开始崛起。纯CNN方案的优势在于推理效率高、训练稳定、对小数据集友好。如果项目对实时性要求高或者训练数据有限CNN仍然是首选。不过CNN方案也有天花板。全局平均池化会丢失空间细节注意力机制虽然能缓解但增加复杂度。后续很多工作开始引入局部特征、姿态估计、人体解析等辅助信息这些方向本质上是在弥补CNN全局特征的不足。我在实际项目中的体会是如果数据量在几万张级别CNN方案加模态特定BN加难样本挖掘基本能拿到接近SOTA的结果而且训练和部署都省心。如果数据量上到几十万张可以考虑引入Transformer骨干或者CNN-Transformer混合结构但调参成本会明显上升。最后分享一个小技巧跨模态ReID的模型集成很有效。训练3-5个不同随机种子的模型推理时把特征拼接或平均mAP通常能提升2-4个百分点而且实现成本很低。如果单个模型已经调不动了试试集成往往有惊喜。