矿山自动驾驶这两年热度一直不低我在几个矿区项目里转了一圈后发现真正决定落地效果的往往不是路径规划多聪明而是感知在极端环境下还能不能“看见”。矿区粉尘大、夜间无照明、雨雾频繁、逆光刺眼可见光相机在这种环境里经常直接失明激光雷达也受粉尘干扰这个痛点逼着大家把目光转向红外感知——靠物体自身热辐射成像天然不怕黑、不怕雾、不怕扬尘。这篇文章我就围绕“矿山自动驾驶红外感知算法与应用方案”把算法设计的逻辑、传感器选型的门道、工程部署中踩过的坑一次讲透。1. 矿山场景的视觉困局为什么非得上红外1.1 矿区环境的“四不起”难题矿山自动驾驶和公开道路自动驾驶最大的不同就是作业环境极端恶劣。我调研过的几个露天矿项目里矿卡走的是固定路线——从采场到破碎站、排土场路况看似简单但实际上整套感知系统每天都处于“亚健康”状态先说起雾扬尘。矿卡重载经过土路扬起来的风沙能持续几十秒不散可见光相机拍出来的画面就是一片黄蒙蒙的雾。别说识别行人连参照物都找不准。再加上矿区常用洒水车降尘水汽混合着尘土在镜头前形成一层薄雾画面退化比想象中严重得多。再说夜间作业。露天矿为了设备利用率和产能夜班是常态。凌晨的矿区几乎没有道路照明矿卡自身大灯照得远但照射范围窄可见光相机只能“勉强看清路面”做个车道保持还行做目标检测几乎等于瞎猜。还有雨雾天气。南方矿区的雨季浓雾加上雨水可见光的有效探测距离会压缩到几米之内感知系统形同虚设。最后是逆光和强眩光。白天向阳行驶时太阳光直接打在镜头上普通相机的动态范围不够画面瞬间过曝成白茫茫一片。这四个场景每一个都正好打在可见光方案的死穴上。激光雷达呢它对粉尘和水雾的穿透也不理想密集粉尘下点云会出现大量噪点反而增加感知的不确定性。而红外热成像接收的是物体自身辐射的红外能量不依赖外部照明对雾霾、粉尘的穿透能力天然优于可见光。可以说在矿山这种环境里红外感知不是“可选增强项”而是“必要兜底项”。1.2 红外感知解决了什么实际问题红外感知在矿山自动驾驶里具体干了三件大事。第一全天候感知兜底。夜间、逆光、扬尘条件下红外图像依然能稳定输出画面保证感知链路不断。矿卡虽然路线固定但路线上随时可能出现人、车、障碍物感知一旦断档安全隐患极大。红外通道能确保“至少有一个传感器还在认真看路”。第二活体目标检测效果远好于可见光。矿区最大的安全风险是人员误入作业区域。人体温度通常比环境高在红外图像上会呈现为明亮的目标哪怕穿着厚工服、蹲在设备阴影里红外下的对比度也比可见光明显得多。这也是安全员在监控室里最喜欢看红外画面的原因——一眼扫过去就能发现异常热源。第三与可见光互为冗余。可见光是反射成像红外是热辐射成像两者成像机理完全独立故障域不重叠。扬尘干扰可见光时红外还能干活某个镜头被泥水遮挡时另一路还能顶上两路同时出问题的概率非常低。需要说明的是红外感知在矿山场景不是“替代”可见光而是作为“多传感器融合”的关键一环。目前主流方案是红外热像仪与可见光相机、激光雷达、毫米波雷达共同构建感知网络各取所长这个融合思路后面会详细展开。2. 红外感知算法的核心设计拆解2.1 先搞懂红外图像的特长与弱点很多从可见光视觉转过来的工程师看到红外图像第一反应是“这不就是一张黑白照片吗”但真的跑起算法才发现红外图像和可见光图像的区别远不是少几个颜色通道那么简单。红外图像有三个核心特点第一单通道灰度图像。没有颜色信息不能靠颜色特征区分目标目标识别几乎全靠形状、温度对比度和运动特征。第二对比度低。物体的热辐射差异往往没有可见光反射差异大图像直方图经常集中在一个很窄的灰度区间看起来灰蒙蒙一片。行人和背景的温差可能只有几摄氏度反映到图像上就是几个灰度级的差别。第三边缘模糊、噪声偏多。红外探测器的灵敏度用NETD衡量和读出噪声会直接影响图像质量再加上非均匀性问题图像上经常出现固定条纹噪声。这些特性决定了红外感知算法不能简单套用可见光检测模型必须从数据采集、预处理、网络结构几个层面做针对性适配。我把红外感知算法的完整链路拆成四块预处理、检测网络、训练策略、部署优化下面逐个讲。2.2 图像预处理非均匀性校正与对比度增强预处理是红外感知里最容易忽略又最关键的一环。很多团队把相机原始流直接喂给检测网络发现效果差然后拼命换更重的模型其实问题往往出在前面这几步。非均匀性校正NUC是必修课。红外焦平面探测器每个像元的响应特性不完全一致加上外部温度变化、相机自身发热等因素原始图像上会出现固定图案噪声FPN表现为横条纹、竖条纹或块状斑。这些噪声对低对比度的小目标影响极大可能直接淹没目标信号。常用的非均匀性校正有两种方式快门校正两点/多点NUC相机内部有校正挡片定期插入光路采集校正数据重新计算每个像元的增益和偏置。这是工业级红外相机最成熟的方案效果好但校正瞬间会遮挡镜头画面出现一次冻结或闪烁。场景校正基于运动估计的NUC不依赖快门用场景运动信息更新校正参数适合不能频繁遮挡画面的场景但算法复杂度高实时性要求高时较难落地。这里有个工程细节特别提醒如果NUC快门动作发生在矿卡行驶过程中正好遇到关键目标检测系统会瞬间丢一帧。这在感知融合里会造成目标轨迹断裂。我的做法是结合系统调度尽量让NUC触发时机落在停车排队、装卸等待这些低动态窗口避开高速行驶段。对比度增强不能乱来。红外原始数据通常是14bit甚至16bit的而网络输入和显示输出一般都需要8bit这就要做动态范围压缩。我见过不少项目直接用OpenCV的线性拉伸结果画面在高温段溢出、低温段死黑效果很糟糕。更稳妥的操作是先统计图像直方图的有效信息区间一般去掉最亮和最暗的1%再做线性映射。如果场景温度范围很宽比如夏天矿卡发动机罩温度很高、路面温度也高可以在局部应用CLAHE对比度受限自适应直方图均衡化增强但CLAHE容易放大噪声参数要根据相机NETD具体情况调整不建议一上来就拉到最大强度。一个重要的经验预处理的目的是稳定保持目标相对背景的对比度关系不是把红外图像“变好看”。盲目做各种花式增强反而会破坏检测网络训练时见过的输入分布导致性能不升反降。2.3 目标检测网络单阶段选型与结构适配红外目标检测方向上工程上目前的主流选择还是单阶段检测器比如YOLO系列的几个变体。主要原因是矿卡自动驾驶的算力平台多为车载嵌入式设备实时性要求高双阶段检测器很难在端侧跑出理想帧率。NMS简单、训练部署链路成熟这些都是单阶段网络的优势。和可见光检测比红外检测网络有几个点需要特别调整一是小目标问题突出。矿卡视野里远处行人可能只占几十个像素属于典型的红外小目标。解决办法是加大浅层特征图的利用率或者针对小目标增加专门的检测头。很多公共检测模型在红外场景上漏检严重根因就是小目标特征在深层特征图里已经丢了。二是背景误检问题。矿区的石块、水坑、矿堆在红外图像上也会呈现热点或冷点很容易被误检成目标。训练时一定要重视负样本采集最好从真实矿卡行驶记录里挖负样本而不是只用公开数据集里的负样本。三是多尺度问题。近处的大型矿卡、中距离行人、远处车辆尺度差异非常大。FPN特征金字塔在红外任务里基本是标配结构不做多尺度融合的话近远处目标很难兼顾。2.4 训练数据红外数据稀缺是常态这是红外感知落地最头疼的问题红外图像数据远比可见光少标注成本也高矿区场景更是几乎没有现成数据集可用。我的实操经验主要是三条第一自建采集数据。在矿卡上装一台红外相机连续跑一个月覆盖白天、黑夜、扬尘、雨雾、装卸点、排土场等各个工况。这听起来笨但最有效。只有自己采的数据才能覆盖真实目标形态和真实环境干扰分布。第二用可见光预训练模型做迁移。先在可见光大模型上预训练权重再用红外数据微调。注意要把网络输入通道从三通道改成单通道同时重新初始化BN层参数否则迁移初期批量归一化统计量会异常训练一度无法收敛。第三数据增强要符合红外特性。普通的翻转、裁剪、旋转都没问题但颜色抖动、亮度扰动这类增强基本无效。红外图像没有颜色它的干扰更多是高斯噪声、非均匀性条纹、温差变化。在训练时主动添加这些红外特有的噪声模式能明显提升模型在真实设备上的鲁棒性。2.5 模型部署量化与剪枝实战模型训练完成后落地到嵌入式平台不可避免要面对量化和剪枝两个问题。红外检测模型和可见光模型在这一步没有本质区别但有两个坑很值得注意。INT8量化时校准集一定要用真实矿区采集的红外数据不能用训练集随机抽或者合成数据。红外图像经过预处理后的动态范围和分布跟普通可见光差异很大校准集选不好量化误差会集中爆发小目标检测精度直接掉一截。模型剪枝方向优先选通道剪枝不要优先做稀疏化。不少嵌入式平台的推理引擎对通道维度的裁剪支持得更好而核稀疏在端侧加速有限实现起来反而复杂。剪枝之后务必用矿区数据重新评估一下小目标和远距离目标的召回率因为剪枝很容易把那些“靠微弱特征区分”的小目标能力先破坏掉。3. 应用方案与传感器布局3.1 传感器选型红外热像仪的核心参数选红外热像仪网上参数一大堆容易看得眼花。我认为真正决定感知效果的核心指标就这几项参数含义对自动驾驶的影响探测器分辨率像元数量决定视场角与探测距离的平衡NETD噪声等效温差数值越小弱目标越清晰一般建议不超过50mK工作波段长波红外8~14μm为主常温人体、车辆辐射峰值在长波适合人和车检测帧率每秒成像帧数矿卡速度不快25/30fps够用但需要与主系统同步测温范围可测温度区间矿区环境温度跨度大宜选宽量程这里多说一句不要盲目追求高分辨率。红外探测器的分辨率提上去之后单个像元接收到的能量反而变少灵敏度可能下降。矿山场景下人体、车辆都是高温目标NETD和镜头质量对实际检测效果的影响往往大于分辨率本身。3.2 安装位置与外参标定红外热像仪在矿卡上的安装位置直接决定了感知范围我见过几套方案比较认可的做法是前向主视装在驾驶室顶部或前风挡上方视野开阔。但要特别注意前风挡普通玻璃对长波红外透过率极低隔着玻璃安装基本等于废掉。要么把相机装到车外要么在风挡上开一个专用的红外窗口材料区域否则红外信号衰减严重。侧向补盲装左右两侧覆盖装卸点和会车场景。矿卡车身长、盲区大侧向感知对避免碰撞特别重要红外在夜间的补盲效果非常明显。后方倒车场景也建议装红外夜间倒车、装载区域倒车可见光看不清红外画面能清晰看到后方的人和障碍物。外参标定这块红外图像没有颜色纹理特征点不明显和可见光联合标定比较费劲。常用的可靠方案是做一个加温标定板上面布置发热点阵列红外图像上能看到清晰角点再和可见光标定板做同名点匹配求解两个传感器之间的外参。标定频率建议纳入日常保养计划矿区振动大外参偏移是常事。3.3 多模态融合各干各的活传感器都装齐了算法怎么融合我个人的观点是矿山场景尽量采用“目标级融合”或“决策级融合”不要一上来就追求“像素级前融合”。原因有三点第一红外与可见光成像机理不同像素级对齐本身就存在误差。矿卡行驶中的振动、镜头畸变、不同的视场角都会放大对齐误差前融合很难做到位。第二目标级融合实现简单、可解释性强。各模态独立检测输出目标框通过外参投影到统一坐标系用IoU做目标关联再按置信度加权或投票融合调试起来很直观。第三工程可维护性好。某个传感器出现故障时目标级融合可以单独屏蔽故障源不会拖垮整个感知系统。而像素级融合一旦某个模态出问题整个融合特征都可能被污染。再强调一个容易忽略的关键点时间同步。矿卡自动驾驶系统里各传感器通常通过GPS授时或PTP进行时间对齐红外相机如果触发方式和帧率与主系统不一致一定要把曝光时间和触发信号统一配置否则融合阶段目标框在不同时间断面下对不上融合效果大打折扣。4. 工程落地中的常见问题与排查实录4.1 NUC闪烁和“画面冻结”这是我在项目里遇到最频繁的问题之一红外相机每隔一段时间做一次快门校正画面瞬间被均匀灰场替代检测算法直接输出空帧目标轨迹出现断点。排查思路分三步先看相机固件是否支持“NUC期间保持上一帧输出”的模式能开就开这是最省事的方案。相机不支持时在系统层面做补偿。检测模块在NUC时段用历史帧的检测结果做预测外推保证融合模块拿到的目标信息是连续的。从硬件层面选择支持外触发校正或者可配置校正时机的相机把NUC安排在停车等待的时段触发。4.2 矿尘覆盖镜头红外镜头在矿区跑一天镜片表面就会积一层矿尘。普通玻璃镜片还好清洁红外镜片材质多样且镀膜娇气不能用有机溶剂直接擦洗清洁不当很容易损伤镀膜。我常用的处理方案是镜头外圈加装保护罩并接入矿卡已有的气路系统做持续空气吹扫把浮尘实时吹走。矿卡自带的空压机系统足够支持这个气路成本很低。每天保养流程里加一项镜头清洁安排专人处理。算法侧加一个图像质量评价模块实时监测红外图像的清晰度指标发现图像模糊或雾化就报警提示人工检查。这个模块不复杂但非常实用避免了传感器“带病上岗”。4.3 误检和漏检怎么调优误检和漏检是目标检测调优的永恒话题红外场景下有两类问题特别突出。一类是“把热石头当成人”。矿区经过暴晒的石块、矿堆表面温度可能接近人体温度红外图像上和行人有几分相似。解决这个问题的思路是先提高行人检测的置信度阈值压掉低置信度虚警再引入目标运动信息和上下文信息。行人是运动的石头是静止的通过帧间关联能有效过滤静态热源。另外行人的形状先验、身位比例也可以作为辅助判断。另一类是“远距离行人漏检”。红外图像上的远距离小目标本来就弱加上噪声干扰很容易丢。我的建议是在检测网络后加一个低置信度目标区域复审模块对置信度中等偏下的候选区域裁剪放大后再送一次网络确认。这个模块在算力充足时开启算力紧张时关闭灵活性比较好。4.4 高温季节性漂移夏天矿区地表温度能到50℃以上红外相机本体温度也会跟着升高探测器响应发生漂移图像整体变亮、对比度下降算法性能跟着波动。应对措施选型时优先选工作温度范围更宽的工业级红外相机标称上限能覆盖70℃以上的更稳妥。开启自动周期NUC让相机持续自校正减少漂移影响。算法侧加一个输入图像均值归一化对整体亮度漂移做自适应调整确保检测网络输入分布相对稳定。这个技巧成本极低但非常有效。5. 实测心得与后续扩展这部分纯聊经验不一定适合所有项目但应该能帮到准备入坑的朋友。我的总体体会是红外感知在矿山自动驾驶里不是“锦上添花”而是“雪中送炭”。凡是遇到夜间、扬尘、逆光场景红外通道几乎是唯一稳定输出有效目标的传感器。但它的短板也明确单通道、低对比度、数据稀缺每一项都需要从算法到底层硬件去做系统性的适配“红外相机通用检测模型”的简单组合远远不够。如果后续往深了做有几个方向我觉得价值很大红外与可见光的跨模态知识蒸馏。用大量可见光数据训练强模型将知识蒸馏到红外模型上缓解红外标注数据不足的问题。事件相机与红外联合。事件相机动态范围极大和红外互补在强光逆光场景里会更有优势。红外语义分割。不只输出目标框把道路、装载区、排土区都分割出来对路径规划和作业调度更友好。最后分享一个我从调试中悟出来的经验别把红外相机的原始图像直接丢给算法就算完事花心思做精细的预处理和相机调参带来的性能提升往往比换一个更大的模型更明显。感知系统是一个整体工程传感器、标定、预处理、模型、后处理、部署每一环都要理顺整个系统才能真正跑稳。