在煤矿现场做视觉识别项目的人大概都有同一种挫败感通用目标检测模型拿到煤场里效果经常“水土不服”。粉尘大、光照乱、煤块堆叠遮挡严重更别提不同矿区的煤质和粒度差异。折腾到最后发现问题往往不在模型结构而在数据——缺一份足够“接地气”的标注数据集。最近我整理完一套带标注信息的大块煤识别数据集支持yolo、coco json、pascal voc xml三种主流格式模型正确识别率77.6%。这篇文章就把数据集的来龙去脉、格式选择、训练流程和踩坑记录一次性写清楚给正在头疼工业检测场景的朋友一个可以直接参考的案例。1. 大块煤识别为什么这么难搞1.1 工业现场的“不友好”环境很多开发者第一次接触大块煤识别以为就是普通的目标检测把公开数据集里那些公交车、猫狗换成煤块就能搞定。但实际上煤场环境对视觉算法极其苛刻。输送带上的煤块是连续运动的没有固定的姿态光线变化剧烈有时候逆光拍摄整个画面都是黑的有时候强光灯一打又是大范围反光。再加上煤块表面纹理本身就比较暗和背景的灰度差常常很小这导致很多经典的特征提取方法在这里直接失效。更麻烦的是煤块之间经常相互遮挡、堆叠甚至有大块煤压在小块煤上面边界模糊。单纯靠目标检测框很难准确区分一个个独立的煤块。这也是为什么我最终选择带标注信息的数据集来训练而不是直接拿通用预训练模型微调——只有在数据层面对这类遮挡和纹理问题做了充分采样模型才能学到真正有用的判别特征。1.2 数据稀缺是最大瓶颈工业场景的标注数据集向来稀缺。网络上公开的煤块数据大多是学术性质的图像分类数据类别多但缺少精细的边界框标注更别说pascal voc xml和coco json这类标准格式了。自己做标注又非常耗时一张密集煤块图往往需要几分钟到十几分钟而且标注质量没有保障。我当时花了几周才整理出几千张有效样本中间还因为标注规则不统一返工过一次。这套数据集的价值在于它把“带标注信息”这件事直接做好了。每个图像都配有对应的标注文件可以直接用于yolo系列、mmdetection、detectron2等常见框架省掉了格式转化的重复劳动。对于刚起步做工业检测的研究者或者工程师来说这个起点很重要因为你的时间应该花在模型调优和部署上而不是在标注工具里消耗掉。2. 三种标注格式千万别等到训练时才想起转换2.1 YOLO格式与TXT标注文件yolo格式是使用最广泛的检测标注格式之一每个图像对应一个同名.txt文件。每一行代表一个目标结构是类别id、中心点x坐标、中心点y坐标、目标宽度w、目标高度h。需要注意的是这些坐标都是相对于图像宽高的归一化值范围在0到1之间。所以一张宽1920、高1080的图像如果一个煤块的中心点像素坐标是(960, 540)宽度像素是480高度是360那么txt里的对应行就是类别id 0.5 0.5 0.25 0.3333。用yolo格式有几个明显的好处。首先是文件体积小、读取快训练时不需要像解析XML那样频繁遍历节点。其次yolo官方的训练脚本和数据加载器都高度依赖这种格式处理起来几乎零成本。但也正因为它是纯文本坐标普通人很难直接打开看是否标注正确所以我一般会写一个简单的可视化脚本把标注框画回图像上检查。2.2 COCO JSON与实例分割/检测coco json格式是目前学术领域和很多开源框架通用的标准格式。它的核心是一个JSON文件里面包含images、annotations、categories三个主要数组。images数组存储每张图像的id、宽高、文件名annotations数组存储每个标注框的image_id、category_id、bbox坐标注意是左上角x、y和宽w、高h以及area等信息categories数组则定义类别名称和id。对于大块煤识别我推荐coco格式的另一个原因在于它天然支持分割标注segmentation字段后续如果想从检测升级到大块煤分割数据可以直接复用。而且很多现代框架比如mmdetection对coco格式的加载优化做得最好训练速度也会更快。唯一需要小心的是coco的坐标坐标系是以左上角为原点和yolo格式的中心点坐标逻辑不同转换的时候必须先把绝对坐标算清楚。2.3 Pascal VOC XML与检测工具箱pascal voc xml是老牌的目标检测格式每个图像对应一个xml文件。xml里面包含folder、filename、source、size、object等标签每个object标签下有name、pose、truncated、difficult、bndbox等子项bndbox里存放xmin、ymin、xmax、ymax四个整数坐标。这种格式最大的优点是自带结构化信息不容易搞错目标所属关系同时很多早期工具箱比如ImageNet训练工具、某些标注工具导出的默认格式都对它友好。缺点也很明显就是文件数量多且冗余。一个包含几千张图的训练集就会产生几千个xml文件管理起来比coco统一json麻烦。另外xml解析在Python里比json要慢不少如果机器性能不强训练前做数据加载时会有明显等待感。所以我的建议是如果你用yolo系列直接训练前转成yolo txt如果后续要跑mmdetection就转成coco json只有在旧代码库或者教学场景里才保留pascal voc xml的原生版本。2.4 格式转换的实用代码我在这套数据集里同时保留了三种格式但实际训练时还是要进行转换。下面这段Python代码演示了怎么把pascal voc xml转成yolo格式简单直接基于xml.etree.ElementTree实现。转换前的关键步骤是读取图像宽高因为yolo需要归一化坐标。import xml.etree.ElementTree as ET import os def xml_to_yolo(xml_path, out_path, img_width, img_height, class_map): tree ET.parse(xml_path) root tree.getroot() with open(out_path, w) as f: for obj in root.findall(object): name obj.findtext(name) if name not in class_map: continue class_id class_map[name] bbox obj.find(bndbox) xmin float(bbox.findtext(xmin)) ymin float(bbox.findtext(ymin)) xmax float(bbox.findtext(xmax)) ymax float(bbox.findtext(ymax)) # 归一化中心点和宽高 x_center (xmin xmax) / 2.0 / img_width y_center (ymin ymax) / 2.0 / img_height w (xmax - xmin) / img_width h (ymax - ymin) / img_height f.write(f{class_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}\n)在这里class_map需要你自己定义比如{large_coal: 0}。实际转换时还需要先从xml的size标签里读取出图像的宽和高否则归一化就会出错。我之前就因为这个细节踩过一次坑图像尺寸读取错误导致所有标注框全部偏移训练loss直接不收敛。3. 从数据集到77.6%识别率我的训练全流程3.1 环境与依赖选择训练环境我选的是PyTorch搭配YOLOv8模型。原因很简单yolov8在工业检测场景中属于经典的“低门槛高上限”模型配置文件清晰训练命令简洁而且自带数据增强策略。显卡用的是单张中端卡显存16GB批量大小设为16输入尺寸统一resize到640x640。这个配置允许我在约200个epoch内完成训练单次训练时间大约4到6个小时。这里说明一下为什么选择yolov8而不是其他框架。第一yolov8官方代码库内置了数据增强比如马赛克增强、随机透视变换对提升模型泛化能力很有帮助。第二它的Anchor-Free设计让模型在煤块这类形状不太规则的物体上有更好的边界回归能力。第三yolo系列部署生态成熟导出onnx或者tensorrt都很方便后续带到现场做边缘设备推理不折腾。3.2 训练参数与模型选型逻辑训练参数我用了比较保守的一组学习率0.01权重衰减0.0005动量为0.937。优化器选择SGD而不是Adam因为在小规模工业数据集上SGD配合适当的预热和余弦退火往往比Adam更稳最终收敛效果也更好。此外我把类别数设置为1也就是只检测“大块煤”这个单类别避免多类别相互干扰。在模型尺寸上我对比了n、s、m、l四个版本。测试结果显示从n到s识别率有约4个百分点的提升从s到m提升大约1.5个百分点但从m到l提升变得非常有限而推理速度却下降了一倍多。考虑到煤场部署设备往往不是高端GPU我最终选择了s版本作为主力模型。这里可以给一个量化参考如果数据集规模只有几千张盲目上大模型反而容易过拟合小模型配合好的增强策略才是性价比最高的路线。3.3 评估指标77.6%到底代表什么所有指标都在测试集上计算。我的数据集按照大概8:1:1的比例划分训练集、验证集和测试集测试集完全不参与训练过程。最终mAP0.5达到了77.6%这个数值指的是在IoU阈值为0.5时所有类别的平均精确率。很多人看到77.6%会觉得不够高但放到工业煤块场景里这个数字已经相当有参考价值。煤块检测的难点在于目标密集、边缘模糊实际应用中我们更看重在IoU0.5下的召回率是否足够高因为在皮带分选场景里漏检的代价远高于误检。如果一味追求mAP0.75或者更高的mAP你会发现模型似乎很“精准”但到了现场反而漏掉很多边界不清的煤块。所以训练时我会同时记录precision和recall曲线在识别率数字之外关注它们之间的平衡。4. 标注质量才是真正的隐藏坑4.1 标注不统一带来的灾难在做数据集整理过程中最让我头疼的不是模型调参而是标注质量。因为不同批次的图像可能由不同的人标注有些选择标单个煤块的外接矩形有些则习惯把重叠的煤块合并成一个框。这样会导致模型学到两种完全矛盾的语义训练时验证集的loss一直波动怎么降低学习率都没办法稳定收敛。解决方法是重新规范和清洗标注规则。我最终把标注规范定为只用水平外接矩形且每个独立煤块必须有明显的边界才标注重叠严重的区域宁可少标也绝不把两个煤块混在一起。这个规则虽然损失了一部分极端情况下的标注框数量但大大提升了标注一致性训练收敛速度和模型表现都明显改善。如果你使用的是第三方标注数据强烈建议先用可视化脚本把所有标注框画出来检查一遍。4.2 数据清洗与格式合规检查数据清洗的另一个重点是消除格式错误。比如coco json里bbox参数写错顺序把[x, y, w, h]写成了[x, y, x2, y2]或者pascal voc的坐标超出图像边界这类问题几乎不发生在前几百张但会在数据量过千之后突然爆出来。我在整理时写了一个校验脚本按下面几步处理遍历所有标注文件检测坐标是否小于0或超过图像宽高检查yolo txt里归一化坐标是否大于1验证coco json中annotations的image_id是否都能在images中找到对应项统计每个类别标注框的数量分布发现极端不平衡再通过采样调整做完这些训练时遇到的“loss为nan”“GPU显存异常暴增”等问题会明显减少。很多朋友直接把下载的数据集丢进训练脚本却忽略了这些基础检查结果最后怀疑自己的模型写错了其实问题就出在个别标注文件的边界数值上。4.3 和处理“过拟合”的反思我在训练过程中发现当epoch到了150左右时验证集loss开始不降反升训练集loss却还在下降——这是过拟合的典型信号。由于我的数据量有限单靠增加数据增强很难完全解决所以我引入了预训练权重迁移学习而不是从头训练。直接在imagenet或者coco上预训练的yolov8s.pt基础上微调比随机初始化快了大概三倍收敛速度而且最终mAP高出约3个百分点。另外一个有用的技巧是冻结部分骨干网络。前10个epoch只更新检测头不更新backbone让模型先学习煤块的宏观特征映射10个epoch之后才解冻backbone的所有层进行全量微调。这样有效降低了小数据量下的过拟合风险并且让模型对煤块纹理细节的记忆更加储存于高层特征中。5. 从实验室到煤场部署中的意外与心得5.1 部署环境与性能取舍训练结束不是终点。在实验室里跑得再稳的模型到了现场往往还要面对算力受限的问题。我最初尝试直接部署yolov8s模型到一台普通工控机上CPU推理每帧大约需要300毫秒换算下来每秒不到4帧完全无法满足实时检测需求。后来我用TensorRT对模型进行int8量化推理速度提升到了每帧约50毫秒才勉强逼近实时应用的门槛。这里有一个重要心得不要等到部署时才考虑模型压缩训练时就应该预留推理优化空间。比如在训练时就把输入尺寸固定为640x640避免在导出onnx时再次resize带来的精度损失。再比如如果边缘设备只支持900p或720p的视频流训练图像就应该切成相应的分辨率而不是傻傻地用1080p训练部署时再降分辨率反而会造成不必要的性能下降。5.2 与人工检测对比后的思考在真实煤场模拟测试中我拿模型检测结果和人工检测结果做了对比。人工判断大块煤的准确率大约在85%左右但是速度极慢而且长时间盯屏幕的疲劳感会导致漏检率直线上升。模型把mAP0.5控制在77.6%加上精度阈值调整实际能稳定输出的有效预警率可以达到70%上下。在连续工作8小时这种场景下模型的稳定性明显优于人工。这种对比让我明白工业视觉识别从来不是追求“百分百完美”的任务而是在成本和效率之间找平衡。77.6%的识别率如果配上合适的报警机制比如连续三帧命中才触发分拣信号就能过滤掉大部分抖动误检实际生产可用性会进一步提高。这也是我在项目中最想分享的一点不要只看数字好不好看要看在真实环节中能不能有效解决“漏”和“误”之间的取舍。5.3 想进一步提点试试这些思路如果后续你想在这个数据集基础上继续提升识别率我有几个实操思路供参考。第一增加矿区的多样性不能只拍同一批煤不同煤质的反光特性和纹理差异很大数据多样性直接决定模型上限。第二尝试用半监督方法利用大量未标注图像做伪标签把小样本数据集的潜力挖出来。第三考虑从检测升级到分割联合使用边界框和像素级掩膜这样可以更好地处理重叠煤块问题。我自己目前就在尝试用分割分支辅助检测头的方案初步实验显示在重叠场景下的误检率下降了4个百分点。这个方向比较适合已经有一定检测基础、想往工业细分场景落地的工程师。数据集本身只是一个起点真正有价值的是你在数据处理和部署中积累的那套方法论。最后提醒一句所有来自公开渠道的数据集都要特别注意版权和合规问题。如果你要商用最好对数据来源和授权做详细确认。我现在整理的这套数据仅用于技术验证和算法研究商用前还需要重新获取合规授权。动手训练之前先花几分钟检查数据协议免得后面项目上线时踩到更大的坑。