简介面向水体污染自动识别场景的航拍检测数据集覆盖养殖、废弃船、废弃物、漂浮物、水污染5个类别提供Pascal VOC与YOLO两种格式的标注文件可直接投入目标检测模型训练与算法评估适用于环保监测、智慧水务等研究方向尤其适合水域目标尺度差异大的场景。压缩包内共2000个文件以xml标注文件为主体另含说明txt文档整体约704.5MB其中标注内容对应2999条影像样本的类别与边框标注类别信息完整为较小样本条件下训练检测模型提供了较充足的数据支撑。数据集省去日常采集和标注环节内置说明对目录与标注规范作了交代便于快速完成数据准备与主流框架适配减少格式转换成本。目前已有392人浏览学习可作为课题验证、毕业设计或工程预研的数据基础。1. 航拍水体污染检测数据集一张图集背后值不值得投入无人机巡河拍回来的画面人眼一眼能看出哪片是绿藻、哪块是油污但让检测模型去认第一版往往把堤坝阴影当成油污把白色浮筒当成垃圾。航拍水体污染检测数据集这类VOCYOLO双格式、2999张5类别的图集要解决的就是“从空中视角稳定识别水面污染目标”这件事。它同时给了标注框VOC的xml和训练格式YOLO的txt适合两类人一是刚入手YOLO、需要现成数据跑通训练流程的开发者二是做智慧水利、环保巡检想验证航拍污染检测可行性的团队。这篇笔记按解压校验、格式转换、训练排错这条完整链路讲透。2. 航拍水体污染检测为什么难从目标特征到VOC/YOLO双格式的由来拿COCO预训练权重直接去跑航拍水面大概率翻车。原因不只是“领域不同”这种空话而是航拍视角下的目标尺寸、背景分布和光照条件跟自然场景图片根本不是一回事。水面反光会让目标颜色漂移高空视角让垃圾袋、油膜只有十几个像素再加上水泥护岸、白色浮筒这类背景物体和目标在RGB特征空间里高度接近通用模型很难直接迁移。所以才需要专门的航拍水体污染检测数据集把目标形态和标注规则固定下来。2.1 航拍视角下的三类难点小目标、反光干扰与背景近似第一类难点是小目标。以10米高度拍摄一条30米宽的河道为例一个漂浮的矿泉水瓶在画面里可能只占十几个像素。YOLO默认把输入缩放到640×640经过几次下采样后这种小目标的特征图响应几乎消失。第二类是反光与倒影干扰。水面镜面反射让目标的颜色被天空和岸线污染检测框很难收紧同一个目标在顺光和逆光下置信度能差出一大截。第三类是背景近似。水泥护岸、白色浮球、泡沫块在RGB空间里和垃圾、废水在视觉上非常接近单靠骨干网络的特征不够必须靠一致的标注规则把边界定义清楚。这三类难点直接决定了数据集的构建策略不能拿通用检测数据集凑数每张图都要有明确的污染目标、干净的框、一致的类别定义。这也是为什么这类数据集选VOCYOLO双格式而不是只给一种——标注阶段方便人工检查训练阶段方便直接喂给YOLO系模型。2.2 VOC格式与YOLO格式同一批标注的两种存在形态VOC格式的标注文件是XML记录文件名、图片尺寸、每个目标的类别名和矩形框坐标。YOLO格式则是与图片同名的txt文件每行五个数类别索引、归一化中心点x、归一化中心点y、归一化宽、归一化高。两者是同一批标注的两种表达不存在谁更“高级”的问题只存在谁更方便。VOC转YOLO的换算就是一组很简单的公式先把框的xmin、ymin、xmax、ymax提出来再除图片宽高得到中心点和宽高。具体为x_center (xmin xmax) / (2 × width)y_center (ymin ymax) / (2 × height)w (xmax - xmin) / widthh (ymax - ymin) / height。这里唯一需要留心的不是公式本身而是类别名到类别索引的映射——XML里存的是“garbage”“oil”这样的字符串txt里必须是0、1、2这样的数字这个映射表错了后面训练指标直接归零。数据集同时提供VOC和YOLO格式其实是在省你的事标注软件像labelImg默认导出VOC而YOLO训练框架直接读txt。如果你拿到手的压缩包里两种格式都有就省了写转换脚本这一步如果只有一种按第4章的脚本自己转也不难。2.3 5类别的业务映射污染标签怎么定才不打架这类航拍水体污染检测任务5个类别通常覆盖漂浮垃圾、油污、藻华/绿藻、白色泡沫/废水、泥沙/建筑废弃物。类别数量看着少真正难的是把每个类别的边界规则讲清楚。我见过最典型的标注翻车是把波浪反光标注成油污或者把岸边沙土堆标成泥沙污染。类别典型形态标注规则易混物漂浮垃圾塑料袋、瓶罐、泡沫块标完整物体外接框半沉状态按露出部分标白色浮筒、水鸟油污暗色油膜带虹彩反光框住油膜主体不框倒影水面阴影、波浪反光藻华/绿藻连片绿色或褐色水华按颜色突变处画成片区域不标单簇水草、岸边绿植倒影泡沫/废水白色泡沫堆积或浑浊水团标泡沫堆积主体不标零星小泡白色浮球、浪花泥沙/建筑废弃物黄褐色浑浊水体、堆料标浑浊水域或堆料区域岸边裸土、河底反光有了这张表标注员和训练脚本才不会各说各话。实际项目里类别不均衡是常态油污样本往往只有垃圾样本的十分之一这直接影响第5章的采样和Loss配置。所以拿到数据集先别急着训练花半小时按这张表的思路核对一遍类别分布比后面调Loss省事得多。3. 拿到.7z压缩包后怎么处理解压、校验与格式预检三步走网上下载的数据集经常以.7z格式打包原因是7z压缩率高、适合存放大量图片和标注文件。但很多人第一步就翻车直接双击解压解到一半报磁盘空间不足或者解完了才发现压缩包在传输过程中已经损坏xml少了一半。下面按三步走每一步都有对应命令和脚本。3.1 Linux与Windows下解压.7z命令和完整性校验一条都不能少Linux下先确认装了p7zip工具然后解压到指定目录解压后立刻做完整性测试。Windows下用7-Zip的右键菜单就能解压但命令行模式更适合批量操作和脚本化。# 安装p7zip工具Debian/Ubuntu系CentOS/RHEL改成yum install p7zip sudo apt install p7zip-full # 解压到指定目录-o指定输出路径-y遇到重复文件直接覆盖 7z x 航拍水体污染检测数据集VOCYOLO格式2999张5类别.7z -o./water_data -y # 校验压缩包完整性t参数只测试不释放文件 7z t 航拍水体污染检测数据集VOCYOLO格式2999张5类别.7z这段命令里x表示解压并保留目录结构-o后面紧跟输出目录且中间不能有空格-y用来跳过交互确认防止脚本卡在“是否覆盖”的提示上。t是测试模式会逐个文件校验CRC。这里想提醒一句完整性测试一定要在解压之后再做一次——解压过程中磁盘空间不足同样会让文件残缺只测压缩包不测解压结果等于白测。3.2 目录结构与标注文件数量核对一个Python脚本扫清隐患解压完成后第一件事不是看图片打开正不正常而是先数文件。VOC和YOLO双格式意味着每张图片至少对应一个xml和一个txt如果解压中断或源包本身不完整三个数就对不上。用下面的脚本扫一遍目录。import os from collections import defaultdict data_dir ./water_data ext_count defaultdict(int) missing_txt [] missing_xml [] for root, dirs, files in os.walk(data_dir): for f in files: ext os.path.splitext(f)[1].lower() ext_count[ext] 1 base os.path.splitext(f)[0] if ext in (.jpg, .jpeg, .png): if not os.path.exists(os.path.join(root, base .txt)): missing_txt.append(os.path.join(root, f)) if not os.path.exists(os.path.join(root, base .xml)): missing_xml.append(os.path.join(root, f)) print(文件扩展名统计, dict(ext_count)) print(缺少txt的图片数, len(missing_txt)) print(缺少xml的图片数, len(missing_xml)) if missing_txt[:5]: print(示例, missing_txt[:5])这段脚本用os.walk遍历整个数据集目录按扩展名统计文件数然后针对每张jpg/png检查同名txt和xml是否存在。ext_count能让你一眼看到图片、标注、其他杂项文件的占比missing_txt和missing_xml两个列表直接定位断档文件。正常情况三个数量应该相等如果txt比xml多说明有人手工改过标签如果xml比图片少说明标注没标完这张图在训练时会被忽略但不会报错——这种无声问题最坑。3.3 图片完整性与内容预检损坏图、灰度图与EXIF旋转文件数量对上之后还要确认图片本身能不能被训练框架正常读取。航拍图最常见的三类问题图片文件损坏、意外混入灰度图、EXIF旋转信息导致标注框错位。用Pillow快速扫一遍。from PIL import Image import os bad_images [] gray_images [] exif_rotated [] for root, dirs, files in os.walk(./water_data): for f in files: if not f.lower().endswith((.jpg, .jpeg, .png)): continue path os.path.join(root, f) try: img Image.open(path) img.verify() img Image.open(path) if img.mode not in (RGB, RGBA): gray_images.append(path) exif img.getexif() if exif and exif.get(274) not in (1, None): exif_rotated.append(path) except Exception as e: bad_images.append((path, str(e))) print(损坏图片, len(bad_images)) print(非RGB图片, len(gray_images)) print(带EXIF旋转的图片, len(exif_rotated))这里先调img.verify()检查文件结构是否完整再用img.mode检查颜色通道。EXIF方向标签tag 274是容易被忽略的坑很多无人机或手机拍的照片带Orientation信息部分训练框架读取时不会自动应用旋转如果图片本身存的是“需要旋转90度”的原始像素而标注框是按旋转后的视角画的模型训练时就会看到框和内容错位。这个问题在训练集里隐藏得很深loss能正常下降但val指标上不去。遇到exif_rotated数量多的情况统一用ImageOps.exif_transpose转正并另存RGB格式再重新生成标注。第3章的核心就是一句话解压、数文件、验图片这三步做完数据质量才有资格进入训练环节。4. 从VOC到YOLO的干净转换归一化脚本与四个边界坑如果拿到的数据集只提供VOC格式或者你想用一份新标注的数据自己转格式这一步躲不开。公式在第2章已经列过这里给完整可跑的脚本并附上我在实际转换中踩过的四个边界坑。这四个坑每一个都真实导致过训练失败不是理论推测。4.1 转换脚本把XML框变成YOLO需要的五列数字import xml.etree.ElementTree as ET import os # 类别名到索引的映射按你的data.yaml顺序对齐 class_map {garbage: 0, oil: 1, algae: 2, foam: 3, sediment: 4} def voc_to_yolo(xml_path, txt_path): tree ET.parse(xml_path) root tree.getroot() size root.find(size) width int(size.find(width).text) height int(size.find(height).text) if width 0 or height 0: print(跳过无效尺寸, xml_path) return lines [] for obj in root.findall(object): name obj.find(name).text.strip() if name not in class_map: print(忽略未知类别, name, 来自, xml_path) continue box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) if xmax xmin or ymax ymin: print(跳过退化框, xml_path, (xmin, ymin, xmax, ymax)) continue x_center (xmin xmax) / 2 / width y_center (ymin ymax) / 2 / height box_w (xmax - xmin) / width box_h (ymax - ymin) / height lines.append(f{class_map[name]} {x_center:.6f} {y_center:.6f} {box_w:.6f} {box_h:.6f}) with open(txt_path, w) as f: f.write(\n.join(lines)) xml_dir ./water_data/Annotations txt_dir ./water_data/labels os.makedirs(txt_dir, exist_okTrue) for xml_file in os.listdir(xml_dir): if xml_file.endswith(.xml): base os.path.splitext(xml_file)[0] voc_to_yolo(os.path.join(xml_dir, xml_file), os.path.join(txt_dir, base .txt))这段脚本里class_map必须和训练用的data.yaml中的类别顺序完全一致否则类别索引错位。坐标全部除以图片宽高做归一化输出保留6位小数——YOLO训练读取浮点txt时对精度敏感四舍五入到小数点后4位会造成小目标框明显偏移。脚本里对退化框做了拦截但对越界坐标还没有处理那是下一节的坑。4.2 四个边界坑越界框、退化框、类别名错位、旋转目标第一个坑是坐标越界。标注时手抖把框拖出图片边缘归一化后x_center大于1或者box_w大于1YOLO在算Loss时会出现极端值。解决方式是对归一化后的坐标做np.clip限制到0到1之间同时把clip后面积缩水超过50%的框直接删掉——这种框保留下来只会教坏模型。第二个坑是退化框也叫零面积框。xmin等于xmax或者ymin等于ymax在VOC标注里经常出现在“懒得精确标”的样本上。YOLO的框回归分支计算IoU时遇到宽或高为0轻则Loss震荡重则直接出现NaN。上面脚本里已经用条件判断拦掉了但如果你用的转换工具没有这个逻辑训练时看到loss突然变NaN优先查数据里有没有零宽高框。第三个坑是类别名错位这是最隐蔽的。XML里类别叫“garbage_float”你的data.yaml里写的是“garbage”训练时索引全部对不上mAP会卡在0而且不报错。解决方式是在转换前做一次全量类别名统计import xml.etree.ElementTree as ET from collections import Counter names Counter() for root_dir, _, files in os.walk(./water_data/Annotations): for f in files: if f.endswith(.xml): tree ET.parse(os.path.join(root_dir, f)) for obj in tree.findall(object): names[obj.find(name).text.strip()] 1 print(names)把这份统计结果和data.yaml的类别表并排比对多一个空格、多一个下划线都要纠正不要相信肉眼在标注软件里看的显示名。第四个坑是旋转目标。航拍视角下油污带、连片藻华往往沿水流方向拉出长条axis-aligned矩形框会把大量背景包进来。如果场景里这类长条目标占比高普通YOLO框会有一堆低质量正样本。这种情况下建议改用YOLOv8-OBB这类旋转框版本标注阶段就把角度信息记下来如果数据集本身是普通VOC格式那就要接受这个误差并在后处理时把长宽比过大的检测框单独设定阈值避免误检背景。4.3 划分train/val按场景切而不是全盘随机切很多人直接把2999张图按9比1随机分成train和val这在航拍数据上是错的。航拍图集的时序相关性强同一条河道、同一架次拍摄的相邻帧高度相似随机划分会把高度相似的图同时塞进训练集和验证集val指标虚高部署到新河道立刻现原形。正确做法是按拍摄场景或航次分组组级别划分。import os from collections import defaultdict images [f for f in os.listdir(./water_data/images) if f.endswith(.jpg)] scene_groups defaultdict(list) for img in images: # 按文件名前缀作为场景id按实际命名规则调整 scene_id img.split(_)[0] scene_groups[scene_id].append(img) # 按场景id排序后取80%的场景进train sorted_scenes sorted(scene_groups.keys()) split_idx int(len(sorted_scenes) * 0.8) train_scenes set(sorted_scenes[:split_idx]) val_scenes set(sorted_scenes[split_idx:]) train_files [f for s in train_scenes for f in scene_groups[s]] val_files [f for s in val_scenes for f in scene_groups[s]] print(ftrain场景数: {len(train_scenes)}, 图片数: {len(train_files)}) print(fval场景数: {len(val_scenes)}, 图片数: {len(val_files)})这里的关键是scene_id的提取方式。如果文件名规律是“river01_0001.jpg”前缀river01就是场景id如果数据集目录本身按场景分好了子目录直接按目录名分组更省事。温和提示分完组还要打印两个集合的类别分布别让某个类别整体跑到val里去很多小样本类别就是这么被切没的。5. 训练前的数据体检与常见问题排查让YOLO在2999张图上稳住收敛2999张图、5个类别这个规模对YOLO来说不算大属于“能训练但容错率低”的档位。数据质量不过关模型大概率不收敛数据质量过关用默认参数也能跑出不错的效果。这一章先讲怎么做数据体检再给训练参数建议最后是实战里最常遇到的五个问题。5.1 类别数量与目标尺寸统计摸清家底再谈调参训练前先统计每个类别的框数量和尺寸分布。这个统计决定了Loss加权、mosaic开关和输入分辨率三个关键决策。脚本如下import os label_dir ./water_data/labels class_count {} area_list [] for f in os.listdir(label_dir): if not f.endswith(.txt): continue with open(os.path.join(label_dir, f)) as fh: for line in fh: parts line.strip().split() cls int(parts[0]) w float(parts[3]) h float(parts[4]) class_count[cls] class_count.get(cls, 0) 1 area_list.append(w * h) print(类别分布, class_count) print(目标面积占比均值, sum(area_list) / len(area_list)) print(目标面积占比中位数, sorted(area_list)[len(area_list) // 2])面积占比是用归一化宽高乘出来的代表目标占整张图的比例。航拍水污染任务里这个值的中位数如果低于0.01就意味着大多数目标只有几十个像素输入分辨率必须往上提。类别分布这里假设油污类只有100来个框、垃圾类有1500个框训练时要么给油污类更高的Loss权重要么对油污类做针对性增强绝对不能平均用力。5.2 YOLO训练关键参数imgsz、batch、epochs与增强取舍下面这组参数是我在类似规模航拍数据上常用的起点模型以YOLOv8s为例说明yolo detect train datadata.yaml modelyolov8s.pt imgsz640 batch16 epochs200 close_mosaic10imgsz是个关键选择。640起步能快速看收敛趋势如果5.1统计显示目标普遍小于16×16像素直接上1280代价是显存占用和训练时间翻倍。batch在显存允许范围内尽量大16到32之间对2999张图来说比较稳。epochs设200配合早停模型通常在80到150轮之间到平台期。close_mosaic10的意思是最后10轮关闭mosaic增强——航拍目标被切到两张图拼接时框的一半落在灰色区域模型后期会被这种假样本干扰。损失函数方面不用特意改YOLO默认的CIoU变体在航拍框回归上表现稳定重点观察box_loss曲线是否平稳下降。参数推荐值说明imgsz640或1280小目标多选1280显存不够先从640验证流程batch16-32尽量大小数据集对梯度噪声敏感epochs200早停2999张图100轮内不收敛要考虑数据问题close_mosaic10最后10轮关mosaic避免拼接假样本optimizerAdamW或SGD小数据集用AdamW收敛更快SGD更稳5.3 常见问题排查清单现象、原因、解决办法第一条Loss在训练前几轮就变成NaN。现象是终端输出里loss列全部是nan。原因通常是数据集中存在宽度或高度为零的退化框或者归一化坐标出现了大于1的极端值。解决方法是退回第4.2节的脚本对全部txt做一遍零值和越界扫描同时把学习率降到1e-4重试。需要说明的是航拍数据里零宽高框比普通数据集更容易出现因为标注员对水面漂移目标经常只画一条线转成矩形后宽度就归零了。第二条训练正常但mAP0.5一直为0。现象是loss稳定下降、精确率和召回率都是0val图上一片空白。原因大多是类别索引错位——txt第一列的数字0对应了data.yaml里的另一个类别。解决办法是随机抽5个txt文件人工核对确认class_map和data.yaml里的类别顺序完全一致按第4.1节的class_map重新转换。第三条train loss下降、val loss不断上升。现象是训练曲线在第40轮左右开始分叉val loss一路走高。原因就是第4.3节说的随机划分导致场景泄漏同一批河道图片同时出现在训练和验证里模型记住的是场景特征而不是污染目标特征。解决方法是按航次或场景目录重新分组划分并且保证val集合里5个类别都有样本。第四条小目标一个都检不出来。现象是mAP曲线正常但小目标类别AP接近0尤其是油污、藻华这类连片目标。原因是imgsz640下目标在特征图里只有个位数像素加上早期卷积下采样直接丢失。解决办法是imgsz提到1280关掉mosaic推理阶段用SAHI这类切片推理工具把大图切成小块分别检测。这里要注意切片推理会拉高小目标召回但推理耗时也随之成倍上涨需要在工程上做取舍。第五条多数类性能尚可、少数类直接漏检。现象是垃圾类AP有0.7油污类AP只有0.1。原因是类别不均衡多数类主导了Loss的反向传播。解决办法是给少数类配置更高的Loss权重YOLO的class_weight参数就是干这个的或者对少数类样本做轻度复制和增强但不建议全量复制复制过多会让模型过拟合到少量样本的纹理细节上。6. 验证与进阶一个把检测框变成污染程度量化的技巧mAP能说明模型好坏但在真实业务里甲方要的不是“检测精度有多高”而是“这段河道污染到什么程度、该不该派人清理”。这里分享一个我常用的技巧把检测输出的置信度和框面积占比聚合成污染覆盖度指数然后按覆盖度分等级。具体做法是对单张航拍图把每个检测框的归一化面积乘以对应置信度作为加权面积再求和得到污染覆盖度C Σ框宽 × 框高 × 置信度。这个C值天然在0到1之间乘上原图分辨率就能换算成实际像素面积。水域面积可以通过语义分割模型或人工划定获得两者相除就是一个百分比的污染覆盖率。然后按覆盖率阈值分级低于0.02为轻度0.02到0.1为中度超过0.1为重度。阈值怎么定用验证集的预测结果排序观察哪个阈值下人工复核的误报率开始陡增就卡在哪。做这个聚合时有一个细节要提醒不同类别的置信度阈值不要统一用0.25。油污类检测框普遍飘置信度整体偏低统一阈值下油污全被滤掉垃圾类置信度高0.25反而会引入一堆误检。我一般先看每个类别在验证集上的PR曲线挑Precision开始陡降的那个点作为该类别的置信度阈值。最后说一个我自己的教训第一次做航拍水体项目时只看整体mAP模型报出0.55以为能上线结果部署到实地河道油污类漏检极其严重因为整体mAP被样本量大的垃圾类拉高了。后来改成按污染等级分层看PR曲线才发现油污类在小目标区间几乎没有正检。从那以后我做这类项目的习惯是先定“轻度/中度/重度”三档业务标准再回头定置信度和面积阈值指标服务于业务而不是反过来。希望帮到你。本文还有配套的精品资源点击获取