海面石油泄漏检测：1800张VOC/YOLO数据集实战与训练避坑指南

简介这是一个面向目标检测任务的海面石油原油泄漏检测数据集专为计算机视觉研究人员、算法工程师及环保应急监测场景设计可用于训练和评估识别海面溢油的目标检测模型。资源包共2000个文件以1817个XML标注文件和183个TXT文件为主XML采用Pascal VOC格式记录目标边界框与类别TXT提供YOLO格式标注及相关说明整体压缩包约79.05MB无需额外格式转换即可接入YOLO系列、MMDetection等常见检测框架。数据集中所有图片均围绕oil_spillage单一类别进行标注共包含1817张jpg图像和3871个标注框能够覆盖同一场景下多处泄漏的情况为多目标检测提供有效样本同时搭配labelImg标注工具便于后续扩展或校对。目前已有283人学习下载适合需要标准格式石油泄漏数据集、快速开展模型训练或算法验证的研究者与工程师使用。1. 海面石油原油泄漏检测数据集1800张为什么能起步但别指望它一步到位海面石油原油泄漏检测这个任务和行人检测、车辆检测最大的不同在于背景太干净了干净到目标很难从背景里“跳”出来。一大片深蓝色海面上泄漏区域可能是暗褐色油膜、阳光下带彩虹光泽的薄油层也可能是被海浪打散的碎块纹理和阴影、波浪反光极其接近。模型很难靠“颜色差异”直接区分油膜、阴影和浪花这也是这类项目真正卡效果的地方——数据难模型反而没那么难。“海面石油原油泄漏检测数据集1800张VOCYOLO格式.zip”这个标题解决的就是起步问题它提供了一份整理过的可见光海面泄漏影像1800张图一套VOC xml标注一套YOLO txt标注。对做溢油监测、海面巡检、无人机航线识别的从业者来说它最大的价值是能让你跳过“找图、清洗、转格式、对标签”这几周最磨人的前置工作直接把精力放到模型训练和场景适配上去。但要注意1800张只是起步量不是终点。它够你跑通流程、验证算法选型但要部署到真实海域后面还得靠你自己的数据补强。这章先把定位说清楚后面再讲怎么拆包、怎么转格式、怎么训练、以及最容易踩的坑在哪里。2. 数据包里的真实构成VOC与YOLO两套格式如何组织、先检查哪里2.1 常见目录结构与两种格式的分工一般这类双格式数据集包打开后是两套平行目录一套按Pascal VOC风格组织一套按YOLO风格组织。两套目录指向的是同一批图片只是标注表达方式不同。典型的目录结构如下。目录/文件格式存放内容VOC/JPEGImages/.jpg原始海面影像VOC/Annotations/.xml目标绝对坐标标注含类别名、bbox坐标、图片尺寸VOC/ImageSets/Main/.txt训练/验证/测试集的图片文件名划分YOLO/images/.jpg与VOC同源的图片YOLO/labels/.txt每个图片对应一个txt每行是“类别ID x_center y_center width height”归一化坐标YOLO/classes.txt.txt类别列表一行一个类别名VOC格式的优点是标注信息完整方便查看和二次编辑YOLO格式的优点是训练时不用做任何格式转换直接喂路径就能跑。双格式的意义在于兼容不同训练管线你在调试可视化、检查标注质量时用VOC在训练模型时用YOLO两边互不干扰。但这也带来一个隐患——两套标注如果是从不同流程生成的很可能出现xml和txt对不上、类别顺序不一致、文件名前缀不匹配这类问题。所以拿到压缩包的第一件事不是训练而是把数据“扫”一遍。2.2 写个脚本把数据“扫”一遍类别数、空标签、越界框我通常会先写一个检查脚本遍历所有xml统计类别分布、空标签数量、bbox是否越界。这个脚本不复杂但能提前暴露大部分标注质量问题。import os import glob import xml.etree.ElementTree as ET voc_dir VOC/Annotations xml_files glob.glob(os.path.join(voc_dir, *.xml)) total_boxes 0 empty_xml 0 categories {} out_of_bounds 0 for xml_path in xml_files: tree ET.parse(xml_path) root tree.getroot() objects root.findall(object) if len(objects) 0: empty_xml 1 print(f[空标签] {os.path.basename(xml_path)}) continue # 从xml里读取图片真实尺寸 size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) for obj in objects: name obj.find(name).text categories[name] categories.get(name, 0) 1 bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) # 越界检查坐标超出图片范围或宽高为0 if xmin 0 or ymin 0 or xmax img_w or ymax img_h: out_of_bounds 1 print(f[越界] {os.path.basename(xml_path)}: {name} f({xmin:.0f},{ymin:.0f})-({xmax:.0f},{ymax:.0f})) if xmax xmin or ymax ymin: out_of_bounds 1 print(f[无效框] {os.path.basename(xml_path)}: {name} 宽高为空) total_boxes 1 print(f\n共检查 {len(xml_files)} 个xml文件) print(f目标框总数: {total_boxes}) print(f空标签xml数: {empty_xml}) print(f越界或无效框数: {out_of_bounds}) print(类别分布:) for k, v in sorted(categories.items(), keylambda x: -x[1]): print(f {k}: {v})这个脚本里有两个关键点。第一读取 bbox 时要从 xml 的 size 节点拿到图片真实宽高用真实尺寸判断越界不要自己猜测。第二越界框在 VOC 转 YOLO 时如果不处理归一化后坐标可能小于 0 或大于 1直接导致训练时 loss 变成 nan 或目标框偏移。空标签 xml 在目标检测里有时是合理的负样本但如果数量超过 20%说明标注漏标严重这份数据的质量就要打问号。2.3 三个值得看的分布指标跑完脚本后我会继续看三个维度这三个维度直接决定后续训练策略。第一是类别比例。这类泄漏数据集通常只有两个语义类别油污和背景。如果标注类别里出现了“疑似油污”“高光”“船舶”这类词说明标注标准不统一训练前需要合并或清理类别。第二是目标尺度分布。统计所有 bbox 面积占图片总面积的比例如果大部分框占比小于 2%说明数据以小目标为主训练时输入分辨率不能设太低。比如 640×640 输入下一个 10×10 像素的小油块下采样几次就消失了很难学出特征。第三是场景多样性。看文件名里是否有拍摄时间、航线序号如果 1800 张图全部来自同一条航线、同一个高度、同一个光照时段那模型在这个场景里会表现很好换一片海域几乎必然掉点。3. 把VOC转成YOLO格式转换脚本、归一化参数和四个边界坑3.1 什么时候需要自己转这个压缩包标题写的是“VOCYOLO格式”正常情况下不需要你额外转换。但在实际项目中你一定会遇到需要自己动手的情况YOLO 的 labels 目录丢失或生成错误、你想调整类别定义后重新生成标签、或者你要把这份数据接到另一个只认某一种格式的训练管线里。与其临时找在线转换工具不如自己写一个转换脚本保证可复现、可审计。转换的核心就是两件事坐标归一化、类别 ID 映射。3.2 核心转换逻辑从xml到txt下面这段脚本会遍历 VOC 的 Annotations 目录为每个 xml 生成一个同名 txt 写入 YOLO 的 labels 目录。注意它用 OpenCV 重新读取图片尺寸而不是信任 xml 里存的 size 节点——因为图片被压缩过或重新保存过以后xml 里的尺寸可能已经失真。import cv2 import os import glob import xml.etree.ElementTree as ET from pathlib import Path voc_anno_dir VOC/Annotations voc_img_dir VOC/JPEGImages yolo_label_dir YOLO/labels class_file YOLO/classes.txt os.makedirs(yolo_label_dir, exist_okTrue) # 读取类别表建立类别名 - ID 的映射 with open(class_file, r) as f: class_names [line.strip() for line in f.readlines()] class_to_id {name: idx for idx, name in enumerate(class_names)} print(类别映射:, class_to_id) def convert_xml_to_yolo(xml_path, img_path, out_dir): 把单个VOC xml转换为YOLO格式txt tree ET.parse(xml_path) root tree.getroot() # 用OpenCV读实际图片尺寸避免xml里存的尺寸失真 img cv2.imread(img_path) if img is None: print(f图片读取失败跳过: {img_path}) return False img_h, img_w img.shape[:2] txt_name Path(xml_path).stem .txt txt_path os.path.join(out_dir, txt_name) lines [] for obj in root.findall(object): name obj.find(name).text if name not in class_to_id: print(f类别 {name} 不在classes.txt中跳过该框: {xml_path}) continue bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) # 坐标越界修正裁剪到图片范围内 xmin max(0, min(xmin, img_w)) ymin max(0, min(ymin, img_h)) xmax max(0, min(xmax, img_w)) ymax max(0, min(ymax, img_h)) # 过滤掉无效框 if xmax xmin or ymax ymin: print(f跳过无效框: {xml_path} - {name}) continue # 转换为YOLO归一化坐标 x_center (xmin xmax) / 2 / img_w y_center (ymin ymax) / 2 / img_h width (xmax - xmin) / img_w height (ymax - ymin) / img_h # 归一化后仍可能有极小概率越过[0,1]再裁剪一次 x_center min(max(x_center, 0.0), 1.0) y_center min(max(y_center, 0.0), 1.0) width min(max(width, 0.0), 1.0) height min(max(height, 0.0), 1.0) lines.append(f{class_to_id[name]} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}) if lines: with open(txt_path, w) as f: f.write(\n.join(lines) \n) else: # 空标签也生成一个空txt保证图片与标签一一对应 open(txt_path, w).close() return True xml_files glob.glob(os.path.join(voc_anno_dir, *.xml)) for xml_path in xml_files: img_path os.path.join(voc_img_dir, Path(xml_path).stem .jpg) if not os.path.exists(img_path): print(f找不到对应的jpg: {img_path}) continue convert_xml_to_yolo(xml_path, img_path, yolo_label_dir) print(f转换完成共处理 {len(xml_files)} 个xml文件)脚本里有几个参数要说明。类别 ID 的顺序完全由 classes.txt 决定不是由 xml 里的出现顺序决定这两者一旦错位训练出来的模型类别全乱。坐标归一化用图片实际宽高而不是固定 640 或 1280这样后续换输入分辨率不需要重新转换。越界修正放在归一化之前修正后再计算中心点和宽高避免出现负坐标。空标签也要生成空 txt因为 YOLO 训练管线要求每张图都有对应标签文件缺失标签会导致训练意外中断。3.3 四个边界情况第一个坑是 xml 里的 filename 与实际图片文件名不一致。常见现象是标注软件导出的 xml 里 filename 写成“1.jpg”但图片实际叫“IMG_0001.jpg”用 stem 作为关联键时两者对不上。解决方式是不要信任 filename 节点直接用 Annotations 目录里的 xml 文件名去 JPEMages 里找对应图片找不到就打印警告。第二个坑是 bbox 坐标越界。部分标注工具允许框拖出画布边缘xml 里存的 xmin、ymax 超出图片尺寸。转换时不修正YOLO 坐标会出现负数或大于 1 的值训练时框直接飞掉。上面代码里已经用裁剪逻辑处理了但你应该在检查阶段就把这类文件找出来确认是标注错误还是边缘目标被截断。如果是截断目标修正后保留是合理的。第三个坑是类别名不一致。比如有的 xml 里写“oil_spill”有的写“oil”还有的写“OilSpill”。处理类名时可以用“别名映射表”把所有变体统一映射到一个标准名避免一个类别被拆成三个ID。映射表建议单独存成一个 json便于后续审计。第四个坑是图片与标签数量不匹配。1800 张图对应的 xml 或 txt 只有 1700 个大概率是几张图片没有被标注或标注过程被中断。漏标的图参与训练只有两种结果当作纯背景负样本或让模型在该位置产生漏检。解决方法是把漏标的图片列表打印出来人工确认是负样本还是标注丢失。3.4 转换后的自检转换完不能直接训练我会再做两步验证。第一步是随机抽取 20 张图用 OpenCV 画出 txt 里的框叠加在图片上人工扫一眼框是否贴住油污区域。第二步是统计 labels 目录里所有 txt 的行数与 xml 里的 bbox 总数对比不一致就说明转换过程有跳框。自检脚本本身很简单但至关重要——我见过太多人跳过这步训练到一半才发现标签坐标整体偏移损失了几天时间。import cv2 import os import random label_dir YOLO/labels img_dir YOLO/images class_names open(YOLO/classes.txt).read().splitlines() txt_files [f for f in os.listdir(label_dir) if f.endswith(.txt)] random.seed(42) sample random.sample(txt_files, min(20, len(txt_files))) for txt_name in sample: img_path os.path.join(img_dir, txt_name.replace(.txt, .jpg)) img cv2.imread(img_path) if img is None: continue h, w img.shape[:2] with open(os.path.join(label_dir, txt_name)) as f: for line in f.readlines(): parts line.strip().split() if len(parts) ! 5: continue cls_id, xc, yc, bw, bh map(float, parts) x1 int((xc - bw / 2) * w) y1 int((yc - bh / 2) * h) x2 int((xc bw / 2) * w) y2 int((yc bh / 2) * h) color (0, 0, 255) if int(cls_id) 0 else (0, 255, 0) cv2.rectangle(img, (x1, y1), (x2, y2), color, 2) cv2.putText(img, class_names[int(cls_id)], (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, color, 2) out_path check_ txt_name.replace(.txt, .jpg) cv2.imwrite(out_path, img) print(f可视化结果已保存: {out_path})可视化检查时如果发现大量框没有贴合目标优先怀疑坐标转换公式写错或者图片尺寸读取错误。油污目标的边界本身带有一定的模糊性标注框比目标稍微大一点可以接受但框完全不在目标上就要立刻停下来查。4. 从1800张数据到模型场景化划分、YOLO训练参数和监控指标4.1 按什么切train/val不要随机切按场景切拿到1800张图最省事的做法是用随机划分七三开训练完发现 mAP 很高但换到新的海域视频里效果崩盘。原因大概率是相似帧串集——无人机巡检是按航线拍连续帧的同一段航线的前后帧高度相似随机划分会把相似帧同时分到 train 和 val验证集指标虚高模型其实没有见过真正的多样性。我一般会先看文件名里能不能提取出拍摄时间或航线编号把连续帧切成一个“场景组”按场景组划分。比如把数据按文件名前缀分成 A、B、C 三个场景组A 组训练、B 组验证、C 组测试或者做三折交叉验证每次用两个场景训练、一个场景验证。这样得到的 mAP 才是真实泛化能力的估计。如果文件名里没有任何场景标识可以按图片时间戳排序每隔若干张抽一张到验证集至少避免连续帧直接落到两边。4.2 最小可跑配置data.yaml 与训练命令数据检查完、划分完下一步是写 YOLO 的 data 配置。以当前主流 YOLO 训练命令为例数据配置是一个 yaml 文件指向图片和标签目录同时声明类别数。# data.yaml path: /data/oil_spill train: train/images val: val/images test: test/images nc: 1 names: [oil_spill]训练命令直接指定数据配置和预训练权重其他参数按项目情况调整。yolo detect train \ data/data/oil_spill/data.yaml \ modelyolov8s.pt \ epochs300 \ imgsz1280 \ batch16 \ patience50 \ projectoil_spill_exp \ namebaseline几个关键参数说一下。model 选择 yolov8s 而不是 nano因为海面油污目标尺度偏小nano 的浅层特征表达能力不够在小目标上容易漏检1800 张数据也不到用 large 或 xlarge 的程度s 或 m 是起步的合理区间。imgsz 设 1280 还是 640取决于第 2 章的尺度分布统计结果。如果大部分框占图片比例小于 2%就不要用 640否则小目标下采样几次就变成 1×1 特征点。batch 大小受显存限制一般原则是能放得下就尽量大但 1280 分辨率下 16 已经需要至少 16G 显存显存不够就降到 8同时把 imgsz 降到 960 或 640。epochs 设 300 并配合 patience 早停避免死等完整训练。预训练权重用 COCO 训练过的权重作为起点比从零训练收敛快很多尤其对这种数据量小的场景。4.3 训练中必须盯的三个信号训练启动后不要干等重点看三件事。第一件是 loss 曲线。正常情况 train 和 val 的 box_loss、cls_loss 都在下降如果 train 下降但 val 从某个 epoch 开始上升过拟合信号出现立即检查类别标签是否错乱、验证集是否与训练集重叠。第二件是 mAP 震荡幅度。数据量小的时候 mAP 震荡是正常的但如果你发现 mAP0.5 在 0.3 到 0.9 之间反复跳先怀疑验证集里相似帧太多或一个场景组里标注质量差异大。第三件是误检类别分布。训练完看 confusion matrix 或 val 集预测结果如果大量把正常海面预测成 oil_spill回到第 2 章检查是否“高光反光”被标成了正样本。5. 海面泄漏检测训练中的5条踩坑记录现象、原因、解决办法5.1 高光被标成泄漏模型在强光下误报激增现象训练集 mAP 很高但模型在中午强光时段的海面视频上疯狂框选亮白色区域几乎把每块太阳反光都当成油污。原因泄漏数据的标注环节标注员把“有明显反光的深色斑块”统一标成了油污而强光下的海面高光形态与油膜高度相似。模型学到的是“亮度异常油污”而不是“纹理色相形态油污”。解决回到 xml 里把所有带高光特征的框导出人工逐张确认把纯高光样本从正样本里剔除。如果这类样本数量大不要直接删图把它们改成“不参与训练”的背景负样本让模型看到高光区域但没有对应标签抑制误报。5.2 类别文件顺序错乱训练模型把油污识别成别的类别现象转换后训练loss 正常下降但推理时类别标签全部错位油污被预测成另一个 ID。原因classes.txt 的类别顺序与 xml 里出现的类别顺序不一致。比如 xml 里第一个出现的是“ship”但 classes.txt 第一行写的是“oil_spill”转换脚本按字符串匹配没报错但类别 ID 全局错位。解决转换脚本里建立“类别名→ID”映射时只以 classes.txt 为唯一依据并且在转换前打印一份映射表人工核对。调整类别名称时不要手动改 txt重新跑一遍转换脚本。5.3 小目标在resize后消失漏检集中在远处油膜现象训练过程正常但验证集里远处的小油污几乎全部漏检近处的大块油污检测效果尚可。原因1800 张图里包含大量拍摄高度较高、油污面积很小的画面imgsz 设 640 时远处一个 15×15 像素的油膜下采样到 7×7 特征图已经失去了可分性。解决imgsz 提到 1280或者对大图做切片训练。如果显存不够优先保证训练和推理分辨率一致不要训练用 1280推理用 640那样小目标召回率会骤降。也可以把所有低于面积阈值的 bbox 滤掉先训练中等以上目标后续再做小目标专项优化。5.4 连续帧串集验证集指标虚高现象随机划分后 mAP0.5 接近 0.95但部署到另一段航线视频时 mAP 掉到 0.6 以下。原因随机划分时同一航线的连续帧被分到了训练集和验证集。模型在训练集见过的场景几乎原样出现在验证集里指标天然虚高。这不是数据量不够而是评估方式失真。解决按场景组做划分同一航线段要么全部进训练集要么全部进验证集。也可以按时间戳排序每隔一段间隔抽样做验证确保验证集与训练集没有连续帧重叠。5.5 空白标签参与训练loss曲线异常跳变现象训练前几个 epoch loss 正常后面突然出现周期性尖峰且尖峰对应的迭代轮次规律出现。原因第 3 章转换时部分图片没有目标生成了空 txt。YOLO 训练时空标签本身是允许的但如果图片文件名与标签文件名前缀不一致空标签文件会被错误匹配到有目标的图片上相当于把有目标图片的标注清空loss 自然异常。解决检查 labels 目录里的 txt 文件名与 images 目录里的图片文件名是否完全一致重点核对后缀.jpg / .jpeg / .png和文件名里的空格、下划线。建议写一个对比脚本输出“有图无标”和“有标无图”两个列表逐项处理。6. 让这1800张数据发挥更大价值切片推理、连续帧去误报和效果验证6.1 用切片推理找回小目标训练完成后面对大尺寸海面影像不要直接把整张图送进模型。把原图切成 512×512 或 640×640 的带重叠 patch每张推理后再把检测框映射回原图坐标重叠区域的框用 NMS 合并。切片重叠率建议 20% 到 30%太低会切断目标太高推理速度下降。这个操作在 4K 及以上分辨率的海面数据上效果非常明显能把第 5 章里的小目标漏检问题压下一截。import cv2 import numpy as np def infer_large_image(model, img_path, patch_size640, overlap0.25): 对大图做切片推理返回合并后的检测框列表 img cv2.imread(img_path) h, w img.shape[:2] step int(patch_size * (1 - overlap)) boxes [] for y in range(0, h, step): for x in range(0, w, step): x1, y1 x, y x2, y2 min(x patch_size, w), min(y patch_size, h) patch img[y1:y2, x1:x2] results model(patch, conf0.25) for box in results[0].boxes.data.cpu().numpy(): px1, py1, px2, py2, conf, cls box # 映射回原图坐标 boxes.append([px1 x1, py1 y1, px2 x1, py2 y1, conf, cls]) # NMS合并重叠框 return nms(boxes, iou_threshold0.5)这个方法也有代价推理时间成倍增加切片边缘会截断部分目标所以 patch 重叠率不要低于 20%。如果项目对实时性要求高优先在训练阶段提高输入分辨率推理阶段切片只作为离线分析的保底手段。6.2 用连续帧确认压掉单帧误报海面监测通常是视频流或连续巡检序列单帧推理结果里会出现孤立误报——某一帧把高光当成油污但下一帧同样的位置没有检测框。这类误报有一个特点在时间上不连续。利用连续 3 帧做逻辑确认同一位置的检测框在至少 2 帧中出现且 IoU 大于 0.3才保留为最终目标孤立出现的框直接丢弃。这个技巧不依赖额外模型纯粹是用时间维度过滤空间误检对泄漏监测这种“目标和背景都在缓慢移动”的场景很有效。需要注意漂移速度海面油污会随水流漂移相邻帧之间的框位移可能较大IoU 阈值不要设得太高0.2 到 0.3 比较合理。6.3 用三折交叉验证判断数据的真实下限最后建议做一个三折实验按场景分为三组每次取两组训练、一组验证记录三次验证 mAP 的均值和极差。如果三次 mAP 差距在 5 个点以内说明 1800 张数据的场景多样性足够支撑后续迭代如果差距超过 15 个点说明某一组场景和其他组差异太大数据分布不完整要继续补充对应场景的图片。这个实验花不了多少时间但能帮你判断这份数据到底值不值得作为项目基线以及增量采集应该往哪个方向走。我现在的习惯是拿到任何一份数据集第一件事永远是打开几十张图把标注框一个一个拖出来看再跑一轮分布统计最后才谈训练。统计指标只能告诉你数据“长什么样”能不能在真实场景里用还得靠你的眼睛和现场反馈。希望这些经验能帮你在海上泄漏检测这个方向上少走一段弯路。本文还有配套的精品资源点击获取