2400张水稻虫害数据集：从YOLOv8训练到田间部署全流程

简介面向水稻虫害智能识别与农业视觉应用这份数据集包含2400张实拍害虫图像覆盖亚洲玉米螟、灰飞虱、稻纵卷叶螟、蓟马四类每类约605张可用于训练目标检测、图像分类等深度学习模型。压缩包共2000个文件以1998个XML标注文件为主配合2个JSON文件便于直接接入常见检测框架进行训练和验证。资源包大小约55.34MB轻量紧凑适合农业AI研究者、算法工程师及高校相关项目快速上手。已有300人学习使用口碑验证了实用性。针对四类主要水稻害虫图像经过筛选与标注标注信息可支撑模型训练中的边界框回归与类别判断同时包含的数据划分文件有助于评估模型泛化能力。借助该数据集开发者可以搭建自动化的稻田虫情监测流程将识别结果应用到预警系统中提高虫害防治效率。1. 2400张水稻虫害检测数据集够用吗做农业视觉落地的工程师第一次见到“水稻虫害检测数据集共2400张”这个标题时第一反应大概率是这个规模能做检测吗是不是只够做个分类我的判断是——2400张做目标检测确实偏少但如果标注质量可靠、类别分布合理配合迁移学习和数据增强足够跑通一个可部署的田间虫情监测模型。它的价值不在于“大”而在于它是垂直场景里难得的、标注过的真实田间数据比从互联网扒来的混杂图片干净得多。适合谁呢适合那些手里有一批田间图像、想快速验证虫害检测能否落地的团队也适合做算法验证时不想从零标注的工程师。这篇文章就沿着“数据构成—数据整理—模型训练—避坑—部署验证”这条路径把2400张图从原始文件变成能上田间的检测模型每一段都会落到能直接抄走的脚本和参数。2. 先用2400张图想清楚三件事标注格式、类别分布与最小可用方案2400张图说多不多说少不少。拿到数据集之后第一件事不是急着训练而是把数据吃透。分辨率、标注格式、类别的实例数分布这三个因素决定了你后面几个月的效率。常见的水稻虫害检测数据集的标注格式多是VOC XML或COCO JSON也有部分转换好的YOLO txt。这三种格式各有各的用途VOC格式信息全、便于人查COCO格式适合用现成工具链YOLO格式则是训练时最直接能喂给模型的。我的习惯是先统一成VOC格式作为中间格式留存再按需转成其他格式因为VOC的可读性最好后续做人工复核、漏标检查都方便。类别分布是第二个要摸清的底牌。2400张图听上去体量不错但实际要按“实例数”来算不是按“图片数”来算。一张图里可能只有1只虫也可能密密麻麻几十只。常见的水稻害虫类别比如稻飞虱、二化螟、稻纵卷叶螟、稻瘟病病斑等在2400张图里实例数可能从一两百到上万不等。这种均衡性问题直接影响模型能不能收敛——模型天然倾向学高频类低频类会被“淹没”。所以在动手之前先跑一遍统计脚本看看每类到底有多少框这个数字比图片总数更决定训练策略。# count_instances.py: 统计数据集中每个类别的目标框数量 import os import xml.etree.ElementTree as ET xml_dir data/annotations_xml class_counts {} for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() for obj in root.findall(object): name obj.find(name).text class_counts[name] class_counts.get(name, 0) 1 total_instances sum(class_counts.values()) print(总标注框数量:, total_instances) for cls, count in sorted(class_counts.items(), keylambda x: x[1], reverseTrue): print(f{cls}: {count} ({count / total_instances:.1%}))这段统计逻辑很简单遍历所有VOC XML标注文件提取每个object里的类别名称累加得到每类的实例数。为什么要用XML而不是直接用YOLO txt统计因为VOC的字段完整不会出现YOLO txt里类别索引和类别名对不上的问题。如果你手里的数据集是COCO JSON格式写法稍有不同但思路一致——用json库读取annotations字段按category_id聚合。统计完之后你会得到一张类别分布表这张表直接决定了后面类重采样的权重怎么设。从2400张图出发最稳妥的方案是先做迁移学习从ImageNet或COCO预训练权重起步而不是从零训练。检测头可以随机初始化但backbone一定要用预训练权重。小数据集最怕的就是backbone学不到通用特征导致训练过程震荡、最终结果完全靠运气。迁移学习在这个场景里不是可选项而是必选项它能帮你把训练周期从两三周压到三到五天同时显著提升低频类别的召回率——预训练网络对纹理、边缘这类底层特征已经足够敏感你只需要让它学会“虫子在稻叶上的样子”而不是从像素开始重新理解世界。2400张图也能反过来告诉你什么不该做。不要试图训练一个需要海量数据的自监督模型也不要做端到端的Transformer检测器。这些方案在小数据集上几乎必然过拟合。更合适的路径是用YOLO系列YOLOv8或YOLO11配合数据增强和类别重采样先把baseline跑出来再看哪些类别拖后腿针对性地补数据。这个策略最省时间也是做农业视觉团队里最常见的做法。3. 训练一个虫害检测模型YOLOv8微调、增强策略与训练日志模型选型上我一般把YOLOv8作为首选文档全、社区大、部署工具链成熟ultralytics库开箱即用。YOLO11虽然更新但生态成熟度不如v8如果团队里没有专门做部署的同事用v8遇到问题更容易搜到解决方案。下面围绕YOLOv8把训练流程走一遍。数据集标注文件不管原始格式是VOC还是COCO训练前都要转成YOLO格式。YOLO格式的标注是每张图片对应一个txt文件每行是“类别索引 x_center y_center width height”坐标都是相对于图片宽高的归一化值。转换脚本是第一个要写的东西# voc2yolo.py: 把VOC XML标注转换成YOLO txt格式 import os import xml.etree.ElementTree as ET classes [rice_planthopper, stem_borer, leaf_roller, rice_blast] xml_dir data/annotations_xml out_dir data/labels os.makedirs(out_dir, exist_okTrue) for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() img_width int(root.find(size/width).text) img_height int(root.find(size/height).text) txt_path os.path.join(out_dir, xml_file.replace(.xml, .txt)) lines [] for obj in root.findall(object): cls_name obj.find(name).text if cls_name not in classes: continue cls_idx classes.index(cls_name) bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) x_center ((xmin xmax) / 2) / img_width y_center ((ymin ymax) / 2) / img_height w (xmax - xmin) / img_width h (ymax - ymin) / img_height lines.append(f{cls_idx} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) with open(txt_path, w) as f: f.write(\n.join(lines))逻辑说明这段脚本从VOC XML中读取图片尺寸和每个目标的类别与边界框转换成归一化的中心点坐标和宽高。参数上classes列表必须和后续训练时的类别顺序完全一致否则模型会学错。注意边界有些原始标注框的xmin/ymin可能为0甚至为负YOLO格式要求坐标在[0,1]范围转换前最好做一次clip防止训练报错。另一个细节是xml里的width/height要以size节点为准而不是去读图片文件否则图片被resize过之后标注就错位了。数据增强在2400张的小数据集上是决定成败的一环。我的做法是用ultralytics内置增强同时手动把关几个最关键的参数。图像缩放设为640这个尺寸对水稻虫害这种中小目标足够如果目标框很小可以开到960但要控制显存。水平翻转p0.5必开水稻田场景没有左右语义差异随机旋转建议控制在±15度以内超过这个范围会让稻叶形态失真。HSV色域扰动能提模型对不同光照的鲁棒性hsv_h0.015、hsv_s0.4、hsv_v0.4是常用的参数区间特别适合田间早晚光差大的场景。Mixup增强给0.1~0.2就够了太高训练不稳定。# train.py: 用YOLOv8训练虫害检测模型的完整配置 from ultralytics import YOLO model YOLO(yolov8s.pt) # 从COCO预训练权重开始迁移 results model.train( datadata.yaml, epochs100, imgsz640, batch16, lr00.01, lrf0.01, momentum0.937, weight_decay0.0005, warmup_epochs3, hsv_h0.015, hsv_s0.4, hsv_v0.4, flipud0.0, fliplr0.5, mosaic1.0, mixup0.15, patience15, save_dirruns/detect/rice_pest, )参数说明里几个值得展开epochs设100但配合patience15做早停实际上可能60轮左右就收敛了lr0从0.01起步对微调场景偏大如果发现训练损失在前5轮不降把它降到0.005重新跑。pre-trained权重用的是yolov8s.pt在精度和速度之间取了平衡点如果追求更高mAP可以换yolov8m.pt或yolov8l.pt但训练时间和显存都会上翻。lrf0.01让学习率在后期衰减到底帮助模型在小数据集上稳定收敛。class weights在data.yaml里配置假设某个低频类别只有100个实例而高频类有2000个可以按“总实例数/类别数/该类实例数”的比例压缩到[0.5, 2.0]区间再填进去避免权重过大导致训练震荡。训练结束后ultralytics会自动输出验证集上的mAP50、mAP50-95和每类AP。但这里有个2400张图场景下特别容易踩的坑默认的train/val划分是随机从全部图片里抽的如果不控制同一田块拍的照片会同时出现在训练集和验证集里导致验证mAP虚高田间部署时直接现原形。划分策略下面单独展开。4. 把2400张拆成有效训练集按田块划分、类别分布自检与两种错误划分数据划分在工程上比模型训练更早决定成败。2400张看起来随便划分都够用实际上随机划分会给你埋一个最大的雷同一田块、同一光照条件下拍摄的几十张图被同时拆进训练集和验证集验证结果虚高部署到新田块直接掉点。这种数据泄露在学术论文里不算少见但工程部署中会被当成模型不行。很多做虫害检测的工程师卡在“训练时mAP到0.9一上田间就烂”根源往往不是模型而是划分方式。正确做法是按田块或拍摄批次划分——一个田块的图像要么全在训练集要么全在测试集绝不能两边都出现。# split_by_field.py: 按田块划分数据集避免数据泄露 import os import random from collections import defaultdict random.seed(42) image_dir data/images train_dir data/split/train val_dir data/split/val test_dir data/split/test os.makedirs(train_dir, exist_okTrue) os.makedirs(val_dir, exist_okTrue) os.makedirs(test_dir, exist_okTrue) # 假设文件名格式: field01_20230815_001.jpg field_groups defaultdict(list) for fname in os.listdir(image_dir): if not fname.endswith(.jpg): continue field_id fname.split(_)[0] field_groups[field_id].append(fname) fields list(field_groups.keys()) random.shuffle(fields) train_fields fields[: int(len(fields) * 0.7)] val_fields fields[int(len(fields) * 0.7) : int(len(fields) * 0.85)] test_fields fields[int(len(fields) * 0.85) :] for group, out_dir in [(train_fields, train_dir), (val_fields, val_dir), (test_fields, test_dir)]: for fid in group: for fname in field_groups[fid]: src os.path.join(image_dir, fname) dst os.path.join(out_dir, fname) os.rename(src, dst) print(train images:, sum(len(field_groups[f]) for f in train_fields)) print(val images:, sum(len(field_groups[f]) for f in val_fields)) print(test images:, sum(len(field_groups[f]) for f in test_fields))参数说明这里我用71.51.5的比例2400张图训练集约1680张验证集约360张测试集约360张。epochs设置在100配合早停实际训练过程中如果验证损失连续15轮不降就自动停止。划分时如果某个田块只有照片没有标注文件先剔出去否则训练的data.yaml加载时会报错这类文件在真实数据集里并不少见。这个脚本里有一个关键设计是field_groups按文件名前缀分组。如果你的数据集文件名没有规律可以改用EXIF信息里的GPS坐标分组或者按拍摄时间戳聚类间隔30分钟以上的算不同批次。分组逻辑决定验证集的可信度值得多花半小时做对。这里是按比例随机选则的田块如果某个田块的虫害密度特别高它的图片全进了训练集那验证集就缺了这个密度区间的样本——所以划分完后必须看一眼分布。划分完成后还有一个必做动作检查每个划分里各个类别的实例数。小数据集最容易出现某个低频类别全部集中在训练集或全部集中在验证集的问题。用一段统计脚本输出train/val/test里每个类别的框数如果某个类别在验证集里只有个位数的实例这类别的评估结果基本只能当作参考部署时做好它掉点的心理准备。数据增强在这个阶段也能看出效力——2400张的覆盖面远小于真实田间条件的多样性。我一般在训练配置里开这样一组增强mosaic1.0mixup0.15fliplr0.5hsv_h0.015hsv_s0.4hsv_v0.4。这组配置对水稻虫害场景基本安全。有两个参数特别提醒flipud上下翻转我关掉是因为水稻植株有明确的上下朝向翻转后稻穗和叶片位置关系颠倒模型会产生困惑scale随机缩放需要谨慎超过0.5倍会让小目标缩到几乎消失小目标的标注框本来就小再缩放模型就彻底学不到了。脚本的params可以按照实际数据集调整mosaic1.0表示每批训练图都做4合1拼接对小数据集扩充效果显著但如果在训练后期发现loss出现周期性波动把mosaic关掉或降到0.5通常能稳定下来。mixup0.15是个保守值混合强度过高会让部分小目标边界模糊损失函数难以收敛。5. 避坑指南标注质量、类别权重和过拟合的三个典型翻车现场2400张图的小数据集上训练虫害检测模型翻车主要集中在三个位置标注质量不过关、类别权重设置错误、过拟合未及时发现。下面按实战中踩坑的常见顺序逐一拆开。第一类坑是标注框质量问题。现象是训练曲线很漂亮mAP也能到0.85以上但部署到真实田间视频里同一类虫子在相邻两帧之间的检测框忽大忽小或者同一个虫体上叠加了两三个框。原因是标注时有人把叶片上的虫粪误标成了目标有人把虫体的一部分框进去了还有人漏标了密集区域的部分虫体。这类问题在2400张的小数据集里会被放大——一两张脏标注就足以让模型学到错误特征因为缺乏足够多的干净样本去纠正它。解决方式是训练前做一轮标注质检用opencv把标注框画到图上逐张快速过一遍重点关注框是否贴合虫体轮廓、是否有明显的偏移或漏标。# visualize_annotations.py: 把标注框画到原图上人工抽样质检 import os import cv2 import xml.etree.ElementTree as ET xml_dir data/annotations_xml image_dir data/images out_dir data/quality_check os.makedirs(out_dir, exist_okTrue) for xml_file in os.listdir(xml_dir)[:200]: # 抽样前200张 xml_path os.path.join(xml_dir, xml_file) img_name xml_file.replace(.xml, .jpg) img_path os.path.join(image_dir, img_name) img cv2.imread(img_path) if img is None: continue tree ET.parse(xml_path) root tree.getroot() for obj in root.findall(object): cls_name obj.find(name).text bbox obj.find(bndbox) xmin int(bbox.find(xmin).text) ymin int(bbox.find(ymin).text) xmax int(bbox.find(xmax).text) ymax int(bbox.find(ymax).text) cv2.rectangle(img, (xmin, ymin), (xmax, ymax), (0, 255, 0), 2) cv2.putText(img, cls_name, (xmin, ymin - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1) cv2.imwrite(os.path.join(out_dir, img_name), img)逻辑说明这段代码读取VOC标注画出每个框并标上类别生成结果图。抽样数量可以按数据集的5%~10%来做2400张图大约看120~240张能把明显的标注错误暴露出来。质检重点看两个东西框是不是紧贴目标边缘以及类别标签有没有标反——水稻虫害里稻飞虱和二化螟的成虫外观在某些角度确实容易混淆初学者标错的概率很高。质检结束后再回头修正XML重新生成YOLO格式不要直接改txt因为后面还要反复迭代数据。第二类坑是类别权重配平不当。现象是训练loss持续下降但低频类别的AP和召回率始终接近0或者反过来低频类别权重设太高之后频繁误检。原因是水稻虫害数据集里的类别实例数天然倾斜严重——比如稻飞虱可能有上万只稻纵卷叶螟只有几百条模型为了降低整体loss会在高频类别上“用力过度”。解决方式是计算每个类别的实例数再按比例设置损失权重让模型更加关注低频类别。但有一个细节权重不是和实例数差成反比那么简单。2400张图里如果某类只有150个实例权重给它拉满到5倍结果可能会过拟合到那一两类特定场景。更稳妥的做法是先把所有类别的训练损失曲线单独画出来观察低频类别的loss下降趋势如果连续30轮没有明显下降再去调整权重。第三类坑是过拟合。现象是训练集mAP一路走高到0.95以上验证集在40轮后开始掉头向下。这是小数据集的必然趋势关键是如何应对。我常用的控制手段有两个一是早停early stoppingpatience设为15轮验证集mAP不再提升就停止训练并回滚到最优权重二是加大dropout等正则化参数的力度ultralytics里通过weight_decay和dropout参数控制。如果过拟合仍然严重最有效的办法还是增加数据——不是盲目去网上爬图而是回到田间拍更多和现有数据分布不同的场景不同光照、不同湿度、不同虫龄的照片比重复同样条件下的图更值钱。如果补拍条件不允许至少把已有的图做二次标注把标注质量提上去。还有一类容易被忽略的坑来自文件名。有的数据集来自多台相机或多次采集文件名里带了特殊字符或中文ultralytics在加载图片时可能报错。处理方式是统一重命名成纯英文加数字的格式比如field01_20230815_001.jpg避免中文字符路径带来的编码问题。这类问题在新手阶段特别容易让人耗掉一整天其实提前统一命名规则就能规避。6. 部署前的模型轻量化与漏检诊断模型训练完成后部署到田间设备是一个绕不开的环节。边缘设备比如Jetson Nano、树莓派或工业IPC的算力都不高直接跑训练好的YOLOv8权重肯定吃力。需要做模型轻量化。最简单的做法是用ultralytics自带的导出功能把权重转成TensorRT格式或ONNX格式TensorRT能利用GPU的加速能力在Jetson这类设备上推理速度能提升2到3倍。# export_tensorrt.py: 导出TensorRT引擎 from ultralytics import YOLO model YOLO(runs/detect/rice_pest/weights/best.pt) model.export( formatengine, imgsz640, halfTrue, # FP16半精度推理速度翻倍但精度略有损失 batch1, # 部署时用batch1 workspace4, # TensorRT空间单位GB )参数说明halfTrue对虫害检测场景基本无损——虫体轮廓特征的对比度足够强FP16不会显著影响检出率。imgsz这里设640如果你的验证结果显示小目标漏检严重试过960再决定要不要换。workspace4表示TensorRT构建时能用的显存上限不够会构建失败或性能下降。轻量化之后要做的是漏检诊断。虫害检测最怕的不是误报而是漏报——漏了一条虫就意味着后续虫害爆发预警延后。诊断方法有两种一是统计在验证集上置信度阈值从低到高变化时各类别的召回率变化曲线二是单独挑出低置信度预测框人工判断这些框到底是真目标还是噪声。我在农田场景实践里很多低置信度预测框实际上是很小或部分被遮挡的虫体模型其实“看到了”但自己不敢确认。如果你的模型也有这个现象后处理阶段可以把阈值适当降低再用小目标检测头进行二次筛选。针对水稻虫害这种以中小目标为主的任务这种策略对召回率的提升非常显著。最后要提一个很多工程师容易忽略的指标类别平均漏检率。只看整体mAP会掩盖某些低频类别完全没检出的问题。把每个类别的召回率单独列出来如果某类召回率明显低于其他类别可以从三个方向排查——标注数量是否足够、锚框尺寸是否匹配、低置信度阈值是否压制了该类别。调试锚框在小目标场景里经常有效YOLOv8会自动学习锚框但如果训练数据里小目标占比不高学习结果会偏向中等大小目标需要检查anchor参数是否合理。最好的方式是保留200~300张没有参与训练的田间图做最终盲测专门观察模型在面对陌生田块时的真实表现这套盲测结果才是部署决策的依据。做水稻虫害检测一年下来最大的教训就是别迷信mAP别忽视难样本。数字漂亮但部署推广不动这类项目在农口特别多。提前把验证方式设计好把划分逻辑做严格让评估指标和真实场景对齐模型就不容易给你意外“惊喜”。希望这些方法对你正在做或准备做的虫害检测项目有实际帮助。本文还有配套的精品资源点击获取