禾本科病虫害检测数据集实战：VOC与YOLO格式解析及训练要点

我最早做作物病虫害检测的时候思路特别简单从网上找点带叶片病斑的图片塞进目标检测框架里训练跑通就完事。结果折腾了大半个月模型在测试集上的mAP始终上不去。后来复盘才发现问题根本不在于模型结构而是训练数据本身就不对路——通用目标检测数据集里根本没有病斑这种东西公开的植物病害数据又大多是单张叶片的分类图和在田间照片里框出病虫害位置这个真实任务差距太大。标题里这个数据集就是冲着这个缺口来的面向水稻和小麦这两大类禾本科作物的病虫害检测共1003张标注图片覆盖10个类别同时提供VOCXML和YOLOTXT两种标注格式。这个规模放在工业级训练里不算多但作为领域切入点、原型验证、课程设计和个人项目起步非常合适。这篇博文我就从实战角度把它拆开讲清楚10个类别大概怎么分布、两种格式怎么解析和互转、数据拿到手怎么组织目录和划分、训练时有哪些只属于农业图像的特殊坑。1. 为什么要特意准备一个禾本科病虫害检测数据集1.1 通用数据集里找不到带病斑的稻叶绝大多数公开的通用目标检测数据集覆盖的是日常生活里的物体人、车、家具、动物、电子设备。你在里面搜水稻小麦可能能找到一些农田或者植物个体但几乎不可能找到稻瘟病病斑小麦条锈病孢子堆这种细粒度病害概念。就算模型勉强把一株水稻识别成植物它也分不清这株植物到底是被真菌感染了还是只是光照不好叶片发黄。我早期犯过这个错误拿通用预训练模型直接做迁移学习冻结主干只换检测头然后在少量作物图片上微调。结果是模型对叶子敏感对病斑完全无感——因为预训练阶段学到的特征是这是什么物体而不是这个物体上有没有病灶。这件事给我的教训是农业病害检测的语义空间和通用目标检测差得很远必须用领域数据把它重新拉回来。1.2 病虫害检测与日常生活目标检测不是一回事常规目标检测里目标通常是完整、独立、边界清晰的东西比如一辆车、一个人、一只猫。但作物病虫害检测完全不同它有四个很特别的属性第一目标极小。稻瘟病初期的病斑可能只有几个像素宽在1280×960的照片里占比不到百分之一。第二边界模糊。病斑和健康组织之间往往是渐变的没有清晰轮廓标注人员经常为这个框该画多大吵起来。第三背景干扰严重。田间照片里除了目标作物还有土壤、杂草、水滴、其他作物叶片模型很容易把阴影或枯黄叶子误判成病害。第四类间差异极小。小麦条锈病和小麦叶锈病都是黄色孢子堆不凑近看几乎一样。这四点叠加起来导致病虫害检测对数据的质量要求远高于通用检测。通用检测里一张图漏标一辆车影响不大但在病虫害数据里如果小目标病斑漏标了一半模型训练出来的召回率会很惨。1.3 这个数据集能解决什么、不能解决什么先说能解决的如果你要做一个智慧植保的原型系统、验证某条算法路线在农业场景下是否可行、或者给学生布置一个从数据到模型闭环的课程项目这个数据集是够用的。1003张图、10个类别配合数据增强和迁移学习训练出一个能跑demo的检测模型完全没问题。再说不能解决的它不是万能的。这个规模的数据不足以训练一个覆盖所有地区、所有生育期、所有拍摄角度的高鲁棒性生产模型。也别指望它能把水稻和小麦的所有病虫害都覆盖到——它只挑了最常见的10个类别。我在实际项目中见过不少人的预期偏差拿到一个小型数据集却指望模型直接部署到无人机的实时巡检系统上这显然是不现实的。数据集的价值在于跑通链路而不是一步到位。2. 数据集盘点1003张图和10个类别到底包含什么2.1 十个类别的组合逻辑禾本科作物的病虫害非常庞杂但按发生频率和危害程度看能进Top 10的类别组合其实相对稳定。水稻方面通常是稻瘟病、纹枯病、稻曲病、稻飞虱、二化螟、稻纵卷叶螟这六类小麦方面则是条锈病、叶锈病、赤霉病、蚜虫这四类。这个组合覆盖了水稻和小麦最主要的真菌病害和虫害也正是标题里10类别最常见的一种理解方式。序号中文类别英文标签建议病害属性典型症状1稻瘟病rice_blast真菌性叶片出现纺锤形病斑边缘褐色中央灰白2纹枯病rice_sheath_blight真菌性叶鞘和茎部出现云纹状病斑后期呈灰褐色3稻曲病rice_false_smut真菌性穗部出现墨绿色菌球最终破裂散粉4稻飞虱rice_planthopper虫害成若虫群集于茎基部严重时整株枯黄5二化螟rice_stem_borer虫害幼虫钻蛀茎秆造成枯心苗和白穗6稻纵卷叶螟rice_leaf_folder虫害幼虫吐丝卷叶呈纵苞叶片出现白色条斑7小麦条锈病wheat_stripe_rust真菌性叶片上出现条状排列的黄色孢子堆呈虚线状8小麦叶锈病wheat_leaf_rust真菌性孢子堆圆形或椭圆形橘红色散生在叶片表面9小麦赤霉病wheat_fusarium_head_blight真菌性穗部出现粉红色或橙红色霉层后期枯白10小麦蚜虫wheat_aphid虫害成若蚜群集叶片和穗部严重时叶片卷曲拿到任何类似的数据集我建议第一件事就是把类别清单整理成上面这种表格确定每个类别的英文标签和编号顺序。这一步看起来琐碎实际影响很大——因为后续所有训练配置、类别映射、评估结果解读全都要依赖这份清单。标签定义不规范后面有你受的。2.2 样本形态田间场景、多目标、背景干扰这类数据集的图片通常来自真实田间拍摄包括手机近距离拍摄、单反特写可能还有部分无人机俯拍。这就意味着图片的尺度差异非常大有些是单叶特写病斑相对较大有些是大场景俯拍一个画面里几十个病斑都是小目标。分辨率从几十万像素到几百万像素都可能出现直接用训练框架默认的640×640输入去resize小目标信息可能直接丢掉。另一个容易被忽略的特点是单图目标数极不均衡。有的图片可能只有1个框有的图片可能标注了几十个飞虱或者几十个病斑。训练时如果不做任何处理模型对目标密度高的图像会很不稳定——batch里既有单目标的简单样本又有几十目标的复杂样本梯度更新方向会被拉来拉去。还有一类图片是没有目标的负样本。如果数据集里混入了少量健康作物照片这是很常见的情况训练时会引入一种特殊问题模型可能学成看到水稻就倾向于预测一个框因为正样本占比太高。这一点我在后面训练建议里会专门讲处理思路。2.3 与叶片病害分类数据集的本质区别很多公开的植物病害数据集本质上是一个图像分类任务输入一张单叶片的照片输出健康/稻瘟病/纹枯病这样的类别标签。这种数据集当然有用但它解决的是这张叶子有病没病的问题而不是病在田间照片的哪个位置的问题。目标检测数据集的标注信息量远大于分类数据集每个目标都有边界框的坐标和类别模型学到的不仅是病斑长什么样还包括病斑在田间场景里相对于叶片、茎秆、背景的位置规律。这也是为什么从分类数据集迁移到检测任务时性能往往不佳——分类模型学到的特征描述的是病灶纹理而检测模型需要的是在复杂背景中定位并识别。所以如果你之前用叶片分类数据集做完了一个分类器现在想把它升级成田间自动巡检系统不要指望旧模型直接换代。正确做法是把检测数据集作为新起点重新走数据校验、划分、训练、评估的完整链路。3. VOC与YOLO两种格式解析、换算与校验3.1 VOC格式的读取要点VOC格式是计算机视觉里非常经典的一种标注格式本质是用XML文件存放每个目标的类别和边界框坐标。一个典型的标注文件长这样annotation filenameIMG_1024.jpg/filename size width1280/width height960/height depth3/depth /size object namerice_blast/name bndbox xmin320/xmin ymin210/ymin xmax410/xmax ymax285/ymax /bndbox /object /annotation解读这个文件的关键在bndbox节点xmin和ymin代表边界框左上角的像素坐标xmax和ymax代表右下角的像素坐标。注意VOC标准采用左上右下的约定不是左上宽高我见过不少人在做格式转换时把这四个值弄混导致框的位置完全错乱。用Python解析VOC文件很直接Python标准库的xml.etree.ElementTree就够了import xml.etree.ElementTree as ET def parse_voc(xml_path): tree ET.parse(xml_path) root tree.getroot() width int(root.find(size/width).text) height int(root.find(size/height).text) objects [] for obj in root.iter(object): name obj.find(name).text bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) objects.append({class: name, bbox: [xmin, ymin, xmax, ymax]}) return width, height, objectsVOC格式最大的好处是肉眼可读方便调试和可视化。它的缺点也很明显每个图片对应一个独立的XML文件文件数量多而且坐标是像素绝对值如果图片resize过坐标就失效了。3.2 YOLO格式的换算逻辑YOLO格式是当前目标检测训练中最主流的标注格式。每张图片对应一个txt文件每一行代表一个目标class_id x_center y_center width height这里的四个数值都是归一化坐标范围在0到1之间。换算逻辑是这样的x_center (xmin xmax) / 2 / image_widthy_center (ymin ymax) / 2 / image_heightwidth (xmax - xmin) / image_widthheight (ymax - ymin) / image_height归一化坐标的好处是它不关心图片原本的分辨率模型训练时无论把图片resize成640还是1280标注都不需要重新做。这也是YOLO系列训练框架默认采用这种格式的原因。从VOC转YOLO的代码也很简单import xml.etree.ElementTree as ET def voc_to_yolo(xml_path, out_path, class_map): tree ET.parse(xml_path) root tree.getroot() width int(root.find(size/width).text) height int(root.find(size/height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_map: continue class_id class_map[name] bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) x_center ((xmin xmax) / 2) / width y_center ((ymin ymax) / 2) / height w (xmax - xmin) / width h (ymax - ymin) / height lines.append(f{class_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) with open(out_path, w) as f: f.write(\n.join(lines))这个转换函数里我特意保留了class_map参数它负责把类别名称映射成数字ID。这个映射一旦确定训练时data.yaml里的names列表必须和它保持严格一致否则类别就全乱了。3.3 训练前必须做的校验很多人拿到标注数据的第一反应是直接开训这是最危险的。数据集整理过程中经常出现各种标注错误如果不提前发现训练时轻则loss异常重则模型学了一堆错误信息。我总结了一套校验清单每次都会在训练前跑一遍第一检查文件对应关系。每个jpg都要有对应的标注文件文件名一致只是扩展名不同不能多也不能少。第二检查坐标合法性。所有边界框必须完全在图片范围内不能有负坐标或者超出图片宽高的坐标。第三检查框尺寸。宽高必须为正太小的框比如小于2像素建议直接过滤。第四检查类别ID。所有txt中的class_id必须在类别总数范围内不能出现负数或者跳跃式ID。第五步是可视化抽查这个最直观也最容易发现语义错误。随机抽几十张图把标注框画出来人工看一眼框的位置是否合理、类别是否对得上。代码很简单import cv2 def draw_boxes(image_path, boxes, labels): img cv2.imread(image_path) for box, label in zip(boxes, labels): x1, y1, x2, y2 [int(v) for v in box] cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img, label, (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) return img4. 从数据到模型目录组织、划分策略与训练参数4.1 目录怎么建才不混乱数据集的原始格式你自己看没问题但要喂给训练框架目录结构必须符合框架预期的约定。最稳妥的做法是同时维护两套视图一套是VOC风格的原始数据视图一套是YOLO风格的训练视图。我当时用的目录结构长这样dataset/ ├── voc_format/ # VOC原始数据 │ ├── JPEGImages/ # 所有jpg图片 │ ├── Annotations/ # 所有xml标注 │ └── ImageSets/ │ └── Main/ # train.txt / val.txt / test.txt └── yolo_format/ # YOLO训练数据 ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/VOC视图保留原始数据方便随时回溯和可视化YOLO视图由转换脚本生成直接喂给训练框架。两套视图通过同一个划分脚本同步生成确保图片和标注永远对齐。如果是用YOLO系列训练框架还需要一个data.yaml配置文件path: /path/to/dataset/yolo_format train: images/train val: images/val test: images/test nc: 10 names: [ rice_blast, rice_sheath_blight, rice_false_smut, rice_planthopper, rice_stem_borer, rice_leaf_folder, wheat_stripe_rust, wheat_leaf_rust, wheat_fusarium_head_blight, wheat_aphid ]4.2 按类分层的train/val/test划分划分数据集看起来简单但有一个很隐蔽的坑随机划分可能导致某些类别的图片全部进了训练集验证集里根本没有这个类。比如小麦蚜虫总共只有30张随机划分时很可能20张进了训练集10张进了测试集但验证集里一张都没有这样训练过程中完全无法监控这个类别的表现。正确做法是按类别分层抽样。我先统计每个类别涉及的图片ID然后对每个类别的图片集合单独做比例划分最后合并去重。确保每个类别的图片在训练集、验证集、测试集中都有分布。划分脚本的核心思路大致是这样import random from collections import defaultdict image_ids_per_class defaultdict(list) for xml_file in xml_files: image_id xml_file.stem for obj in parse_voc(xml_file): image_ids_per_class[obj[class]].append(image_id) train_ids, val_ids, test_ids set(), set(), set() for class_name, ids in image_ids_per_class.items(): random.shuffle(list(ids)) n_train int(len(ids) * 0.8) n_val int(len(ids) * 0.1) train_ids.update(ids[:n_train]) val_ids.update(ids[n_train:n_train n_val]) test_ids.update(ids[n_train n_val:])这样划分完每个类别在三个子集里都有分布不会出现验证集完全没见过蚜虫的尴尬情况。4.3 只有1003张训练时怎么补1003张图的规模放在深度学习里属于典型的小样本条件想训练出能看的模型有四个关键手段。第一数据增强必须开足。水平翻转、旋转、HSV颜色扰动这些常规增强直接拉满。对农业图像来说光照变化是真实场景里最常见的干扰HSV增强能让模型对光照变化更鲁棒。第二用预训练权重做迁移学习。不要从零初始化网络加载一份在大型通用目标检测数据集上预训练好的权重然后冻结主干的前几层只微调后面的检测头。预训练模型学到的边缘、纹理、形状特征虽然来自通用物体但对作物病斑的底层特征提取仍然有效。第三输入分辨率谨慎选择。如果原始图片里目标很小640×640会把小目标缩得更小建议训练时用1280×1280或者保持原图尺寸到模型能接受的范围内。代价是训练速度变慢但在小数据集上这个代价完全值得。第四训练轮数要足够同时配早停。小数据集容易过拟合建议一次性配置200到300个epoch让训练过程中自行判断何时收敛。重点盯验证集loss不要死盯训练集loss——训练集loss降到很低不一定代表模型真正学到了有用特征。训练完成后评估指标也有讲究。mAP0.5只是整体指标必须看每个类别的AP值。如果某个类别的AP特别低先查这个类别的样本数量是否过少、标注是否存在大量漏标不要急着调模型结构。5. 实测高频问题禾本科病虫害检测的几个典型坑5.1 小目标病斑与大图多框的冲突病斑目标小这个特点在训练时会引发一系列连锁反应。YOLO系列的检测头默认在多个尺度上做预测最大的那个检测层stride是32也就是说原图会被下采样32倍。如果病斑在原始图上只有10×10像素经过32倍下采样后大约只剩0.3×0.3像素基本聊胜于无模型很难在这个尺度上学会检测它。解决思路有三个方向。一是提高输入分辨率把训练和推理时的输入从640提高到1280甚至更高小目标的像素占比会明显改善。二是用切片推理工具把大图切成多个有重叠的小块分别做检测再合并结果这是目前田间场景处理小目标比较成熟的做法。三是针对图片里目标非常密集的情况训练好的模型推理时要注意设置最大检测数量否则一张图里几十个小目标可能因为NMS被大量抑制。我实测下来的感受是小目标问题必须从数据层面和推理层面一起解决单靠改模型结构往往治标不治本。5.2 相似病害的类间混淆小麦条锈病和小麦叶锈病这两个类别是检测模型最容易混淆的冤家。它们的孢子堆颜色相近、形状相似唯一的区别是分布形态条锈病沿叶脉排列成条状叶锈病则随机散布。对模型来说这种差异在低分辨率特征图上几乎不可见。遇到类间混淆第一步是跑完训练后输出混淆矩阵看看谁和谁容易混。第二步是针对易混类别做差异化处理可以给这两个类别增加更多典型的正样本也可以考虑把它们合并成一个大类后期再通过其他手段细分。我在一个实际项目里就遇到过条锈和叶锈AP都很低、互相错判严重的情况后来把训练图的裁剪区域放大让模型能更清楚地看到条状排列这个关键特征效果才明显改善。5.3 类别不平衡带来的评估假象1003张图分到10个类别几乎必然存在类别不平衡。某几个类别可能各有几百个目标框而个别类别只有几十个框。这时候你看整体mAP很好看但拆开看每个类别的AP会发现低资源类别一塌糊涂。对策有几个一是做类别加权损失函数里给样本少的类别更高的权重让模型更重视它们二是对少样本类别的图片做过采样让它每个epoch出现次数更多三是从推理侧做调整适当降低少样本类别的置信度阈值提高召回率。最关键的还是评估时别只看总体指标。我在做这类项目时习惯把每个类别的AP单独列一张表低于某个阈值的类别就标记为需人工复核这个习惯帮我避开了很多总体指标好看实际不可用的假象。5.4 标注错漏是隐藏杀手最后这个坑几乎所有人都会遇到但很少有人在训练前认真处理标注数据里存在系统性错漏。漏标是最常见的比如一张图里明明有8个病斑标注人员只画了3个框模型训练时这5个漏标区域就成了没有目标的负样本模型会逐渐学会对这种特征的区域输出低置信度导致实际推理时漏检。想发现这些错漏单纯靠肉眼检查1003张图太不现实。我在实践中的做法是先拿当前数据跑一版基础模型然后用这个模型对训练集做预测把模型置信度高但标注中不存在对应框的区域提取出来作为候选漏标样本人工快速排查。这个思路类似主动学习能把人工精力集中在最可疑的区域上。实测下来一轮就能发现几十个明显的漏标案例对模型精度的提升非常显著。5.5 数据集的后续扩展方向1003张只是一个起点。我在实际项目中尝到的甜头是把这类数据集用起来之后下一步的扩展价值远大于初始训练。可以考虑三个方向一是补充负样本采集大量健康的田间照片不带病虫害目标的让模型学会没有目标时不输出任何框这个对降低部署误报率很有效。二是按生长阶段拆子集比如稻瘟病分别收集苗期、分蘖期、穗期的图片训练一个对生育期鲁棒的模型这在植保场景里非常实用。三是把模型泛化到其他禾本科作物比如玉米叶片上的常见病害初期可以用这个数据集做预训练再在玉米小样本上微调收敛速度会快很多。我自己的体会是做数据集项目最耗时间的往往不是训练本身而是标注质量检查和类别定义。那些能在开头就把类别定义、目录结构、划分逻辑都定清楚的数据集后面用起来会格外顺手。所以看完这篇博文不管你是拿这个数据集做原型验证还是打算自己从头整理一份农业数据集都建议先花半天时间把基础工作做扎实——把格式解析脚本写对、把校验流程跑一遍、把划分策略确定好再开始训练。这个顺序省下来的时间远比后面返工调试模型结构要值。