基于深度学习的农作物病虫害识别APP：从模型训练到移动端部署全流程

简介这份资源是面向农业信息化开发者、深度学习入门者与智慧农业方向学生的农作物病虫害识别APP完整工程包基于卷积神经网络实现作物图像自动分类与识别可用于课程设计、毕业设计或移动端AI应用二次开发。压缩包共453个文件、约119.8MB包含93个Java源文件与118个XML布局配置构成Android应用主体95张PNG与6张JPG提供界面素材76个CSV覆盖水稻、小麦、番茄、棉花、油菜、大豆等作物样本数据另有38个SO库、12个JAR包及1个pt模型文件支撑推理运行。目前已有77人学习下载。读者可从中获取从数据组织、模型调用到APP界面搭建的完整项目结构借助CSV样本与模型文件理解病虫害识别流程并参考Java与XML代码快速复现或扩展功能适合作为深度学习落地农业场景的实践参考。1. 从一张叶片照片到防治建议农作物病虫害识别 APP 到底在做什么田里发现叶片上出现了褐色斑点边缘发黄是早疫病还是叶霉病该打什么药、稀释多少倍、间隔几天再喷过去这个问题要等植保站的技术员下田或者自己翻图鉴对比半天。现在用手机拍一张照片两秒内给出病名和防治方案——这就是基于深度学习的农作物病虫害识别 APP 要解决的事。它把卷积神经网络CNN的图像分类能力装进移动端让识别这件事从实验室走到田间地头。适合谁做有 Python 基础、想找一个完整深度学习落地项目的开发者有农业背景、想用技术手段降低误判率的植保从业者以及正在准备课程设计或毕业设计的学生。这个方向不玄学核心链路清晰数据准备、模型训练、模型压缩、移动端部署每一步都有成熟的工具链。2. 数据从哪来、怎么标病虫害识别模型的上游工程2.1 公开数据集与自采图像的取舍做病虫害识别第一个翻车点往往不是模型结构而是数据。公开数据集里PlantVillage 是绕不开的起点它包含约 5 万多张叶片图像覆盖 14 种作物、26 种病害背景多为单一颜色拍摄条件理想。但真实田间场景复杂得多光照不均、叶片重叠、背景有土壤和杂草、拍摄角度随意。如果只用 PlantVillage 训练模型在实验室测试集上准确率能到 95% 以上一到真实场景可能掉到 60% 以下。常见做法是用 PlantVillage 做预训练或基线再补充自采数据做微调。自采时注意三点每类病害至少 200 张、覆盖早中晚不同光照、包含健康叶片作为负样本。数据量不够时用旋转、翻转、亮度调整、随机裁剪做增强但不要用色彩抖动过度因为病斑颜色是重要特征。2.2 标注规范与目录结构病虫害识别通常是单标签分类任务一张图对应一个病害类别。标注不需要画框但目录结构必须清晰。推荐按以下方式组织dataset/ ├── train/ │ ├── 早疫病/ │ │ ├── 001.jpg │ │ └── ... │ ├── 叶霉病/ │ ├── 健康/ │ └── ... ├── val/ │ ├── 早疫病/ │ └── ... └── test/ └── ...训练集、验证集、测试集按 7:2:1 划分。注意同一片叶子的多张照片必须放在同一个集合里否则验证集会出现“见过同一片叶子”的数据泄漏准确率虚高。类别名称用中文或英文均可但训练脚本里的类别映射要固定后续 APP 端标签必须与之一致。2.3 用 PyTorch 搭一个最小可用的数据加载器下面这段代码可以直接抄作用是读取目录结构、做训练增强、返回批次数据import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader # 训练集增强随机裁剪、翻转、轻微颜色扰动 train_tf transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(), transforms.RandomVerticalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) # 验证集只做缩放和归一化 val_tf transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_ds datasets.ImageFolder(dataset/train, transformtrain_tf) val_ds datasets.ImageFolder(dataset/val, transformval_tf) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) val_loader DataLoader(val_ds, batch_size32, shuffleFalse, num_workers4) print(f类别数: {len(train_ds.classes)}) print(f类别列表: {train_ds.classes})逻辑说明ImageFolder自动根据子目录名生成标签class_to_idx属性保存映射关系后续导出模型时要一并保存。RandomResizedCrop(224, scale(0.7, 1.0))表示随机裁剪原图 70% 到 100% 的区域再缩放到 224×224模拟拍摄距离变化。ColorJitter的幅度不要太大否则病斑颜色失真。num_workers在 Windows 上建议设为 0 或 2Linux 上可以设 4 到 8取决于 CPU 核数。如果显存不足把batch_size降到 16 或 8同时把学习率按比例调小。3. 选 MobileNetV3 还是 ResNet50模型训练与压缩的平衡点3.1 骨干网络选型的三个现实约束移动端 APP 的模型选型不能只看准确率要同时考虑参数量、推理延迟和手机内存。ResNet50 参数量约 25M在骁龙 865 上单张推理约 120ms模型文件接近 100MB对 APP 来说偏重。MobileNetV3-Small 参数量约 2.5M推理约 15ms模型文件不到 10MB准确率在病虫害数据集上通常比 ResNet50 低 2 到 5 个百分点。如果业务对准确率要求极高可以用 ResNet50 训练后做知识蒸馏把大模型的能力迁移到 MobileNetV3 上。我一般会先用 MobileNetV3-Large 做基线参数量约 5.4M准确率和速度比较平衡。如果数据集类别超过 50 类再考虑 EfficientNet-B0 或 B1。3.2 训练脚本与关键参数以下训练代码基于 PyTorch使用预训练权重做迁移学习import torch import torch.nn as nn import torch.optim as optim from torchvision import models from tqdm import tqdm device torch.device(cuda if torch.cuda.is_available() else cpu) # 加载预训练 MobileNetV3-Large model models.mobilenet_v3_large(pretrainedTrue) num_classes len(train_ds.classes) model.classifier[3] nn.Linear(model.classifier[3].in_features, num_classes) model model.to(device) # 损失函数与优化器 criterion nn.CrossEntropyLoss(label_smoothing0.1) optimizer optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30) best_acc 0.0 for epoch in range(30): model.train() running_loss 0.0 for imgs, labels in tqdm(train_loader): imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() outputs model(imgs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() scheduler.step() # 验证 model.eval() correct, total 0, 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) outputs model(imgs) _, preds outputs.max(1) correct (preds labels).sum().item() total labels.size(0) acc correct / total print(fEpoch {epoch1}, Loss: {running_loss/len(train_loader):.4f}, Val Acc: {acc:.4f}) if acc best_acc: best_acc acc torch.save(model.state_dict(), best_model.pth)参数说明label_smoothing0.1缓解过拟合病虫害数据常有标注噪声这个参数有用。AdamW的lr1e-3是迁移学习的常用起点如果损失震荡明显降到 5e-4。CosineAnnealingLR让学习率按余弦曲线下降T_max30对应总 epoch 数。batch_size32是 8GB 显存的稳妥值显存更大可以翻倍。训练 30 个 epoch 通常够用如果验证准确率还在涨加到 50。注意保存best_model.pth而不是最后一个 epoch 的权重因为过拟合后验证准确率会下降。3.3 模型量化与导出 ONNX训练完的 PyTorch 模型不能直接塞进 APP需要先转成移动端友好的格式。常见路径是 PyTorch → ONNX → TensorFlow Lite 或 NCNN。下面先导出 ONNXimport torch model.load_state_dict(torch.load(best_model.pth, map_locationcpu)) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, crop_disease.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version12 ) print(ONNX 导出完成)逻辑说明dynamic_axes让 batch 维度可变方便后续在不同框架里调整。opset_version12兼容性较好如果目标框架支持更高版本可以调到 13 或 14。导出后建议用onnxruntime跑一遍推理对比 PyTorch 输出是否一致误差应在 1e-4 以内。如果要做量化可以在 ONNX 上做动态量化模型体积能再压缩 50% 左右推理速度提升 20% 到 30%准确率损失通常小于 1%。4. 从模型文件到手机 APP部署链路与接口设计4.1 移动端推理框架选型模型部署到手机有三种常见方案TensorFlow Lite、NCNN、Paddle Lite。TensorFlow Lite 生态最成熟Android 和 iOS 都支持文档齐全适合新手。NCNN 是腾讯开源的无第三方依赖体积小在 Android 上性能很好但需要自己编译。Paddle Lite 对百度系模型支持好如果训练用的是 PaddlePaddle 就选它。我一般推荐 TensorFlow Lite因为从 ONNX 转 TFLite 的路径清晰社区问题容易搜到答案。转换命令如下# 安装转换工具 pip install onnx2tf tensorflow # ONNX 转 TensorFlow SavedModel onnx2tf -i crop_disease.onnx -o saved_model # SavedModel 转 TFLite python -c import tensorflow as tf converter tf.lite.TFLiteConverter.from_saved_model(saved_model) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert() open(crop_disease.tflite, wb).write(tflite_model) print(TFLite 模型大小:, len(tflite_model) / 1024 / 1024, MB) 参数说明Optimize.DEFAULT开启默认量化模型体积通常能压到 5MB 以内。如果要做全整型量化需要提供代表性数据集准确率可能再降 1% 到 2%但速度更快。转换后务必在手机上实测推理时间不同芯片差异很大骁龙 8 系和 7 系能差一倍。4.2 Android 端集成与相机调用Android 端用 CameraX 调相机用 TFLite Interpreter 跑推理。核心代码分三步加载模型、预处理图像、输出结果。预处理必须和训练时一致缩放到 224×224、归一化参数用 ImageNet 的均值和标准差。如果训练时用了RandomResizedCrop推理时用CenterCrop或直接Resize不要引入随机性。输出层得到的是各类别得分取最高分对应的类别名再查防治方案表。防治方案建议存在本地 SQLite 或 JSON 文件里不要每次请求网络田间信号不稳定。APP 界面至少包含拍照按钮、相册选择、识别结果、防治建议、置信度显示。置信度低于 70% 时提示“建议重新拍摄或咨询植保站”不要硬给结论。4.3 服务端兜底与模型更新纯端侧推理的优点是离线可用、响应快缺点是模型更新麻烦。常见做法是端侧为主、服务端为辅端侧模型负责常见病害快速识别置信度低或遇到未知类别时把图片上传到服务端用大模型二次判断。服务端可以用 Flask 或 FastAPI 搭一个简单接口加载 ResNet50 或集成模型。模型更新时APP 启动后检查版本号有新模型就下载替换本地文件。注意下载要支持断点续传田间网络不稳定是常态。接口设计上请求体用 base64 编码图片或 multipart 上传响应返回类别、置信度、防治建议。服务端要加限流防止被刷。5. 避坑与排查病虫害识别 APP 落地时最容易翻车的五件事5.1 现象训练准确率 99%实际拍照识别全错原因训练集和测试集来自同一批叶片数据泄漏。同一片叶子的不同角度照片被分到了训练集和验证集模型记住了叶片纹理而不是病斑特征。解决按叶片编号划分数据集同一片叶子的所有照片只进一个集合。另外验证集要包含不同地块、不同品种的样本不能只用一个来源的数据。5.2 现象APP 在模拟器上正常真机上闪退原因TFLite 模型用了真机不支持的算子或者模型文件没有正确打包进 APK。解决在build.gradle里确认assets目录包含.tflite文件用Interpreter加载时捕获异常并打印日志。如果算子不支持换用 TFLite 支持良好的网络结构或者用 NCNN 重新转换。真机测试至少覆盖一台骁龙 6 系和一台 8 系设备。5.3 现象识别结果置信度普遍偏低都在 40% 到 60% 之间原因预处理不一致。训练时用了Normalize推理时忘了做或者训练时输入是 RGB推理时传了 BGR。解决把预处理代码封装成一个函数训练和推理共用。用一张训练集里的图片做端到端测试从读取图片到输出类别对比训练时的预测结果误差大就逐行检查预处理。5.4 现象模型文件 20MBAPP 安装包 80MB用户不愿意下载原因模型没有量化或者打包了多个冗余模型。解决用 TFLite 动态量化把模型压到 5MB 以内删除训练用的中间文件。如果还大考虑用 MobileNetV3-Small 替换 Large或者用知识蒸馏把大模型压小。安装包超过 50MB 时考虑用 Android App Bundle 分发按设备架构拆分。5.5 现象田间拍照识别率明显低于实验室原因光照过曝或过暗、叶片有泥土、背景杂乱。解决训练时加入模拟田间条件的增强比如随机调整曝光、添加高斯噪声、随机遮挡。APP 端加一个拍摄引导框提示用户把叶片放在框内、避免强光直射。如果条件允许用两阶段方案先检测叶片位置再对裁剪后的叶片做分类减少背景干扰。6. 把识别准确率再提一截三个我反复用过的技巧第一个技巧是类别不平衡处理。病虫害数据里健康叶片往往最多稀有病害只有几十张。直接训练会让模型偏向多数类。我一般用加权采样在DataLoader里设置samplerWeightedRandomSampler权重按类别频率的倒数计算。这样每个 batch 里稀有类别的样本会被多采几次训练更均衡。注意权重不要设得太极端否则少数类过拟合。第二个技巧是测试时增强TTA。推理时对同一张图做多次变换——原图、水平翻转、轻微旋转——分别预测后取平均。这个技巧几乎不增加训练成本准确率通常能提 1 到 3 个百分点。代价是推理时间翻倍如果 APP 对延迟敏感可以只做原图和水平翻转两次。代码实现很简单把预处理后的张量复制几份分别做变换堆成一个 batch 送进模型输出取平均。第三个技巧是置信度校准。模型输出的 softmax 分数往往偏高明明不确定却给出 90% 的置信度。用温度缩放Temperature Scaling校准在验证集上拟合一个温度参数 T推理时把 logits 除以 T 再 softmax。T 大于 1 会让分布更平滑置信度更可靠。这个参数可以在服务端拟合端侧推理时带上。校准后置信度低于 70% 的样本准确率明显下降正好用来触发“建议咨询植保站”的提示。最后一个习惯每次换模型或改预处理一定用同一批测试图片跑一遍端到端对比记录准确率、推理时间、模型大小三个数。不要只看训练日志里的验证准确率那个数字和真实场景差得远。我吃过亏一个模型验证集 96%田里实测只有 72%后来发现是验证集里健康叶片太多拉高了整体数字。希望帮到你。本文还有配套的精品资源点击获取