基于YOLO的无人机占道经营识别：数据集构建与边缘部署实践

这两年智慧城市治理项目里“无人机街道巡检 AI识别”几乎成了标配方案。我最近完成的一条完整链路核心环节就是占道经营识别用YOLO模型对无人机拍回来的街道画面做实时检测把商贩违规摆摊、占道堆物这类情况自动标记出来再推送给人复核处置。这篇把整条链路从数据采集、标注、训练、调优到边缘部署完整梳理一遍适合正在做智慧城管、市容巡检项目或者打算用无人机做视觉识别的开发者参考。先说结论这个项目最大的难点不在模型结构而在数据。无人机视角下的街道场景和普通地面摄像头完全是两个世界——俯拍、尺度小、遮挡密集、光照复杂。如果直接套用网络上的通用数据集训练放到真实巡检画面里基本没法用。所以我把主要精力放在了数据集构建和针对飞行视角的调参上模型本身反而用的是成熟方案。1. 项目需求与整体设计方案1.1 从“人工巡查”到“无人机AI”的转变传统市容管理主要靠执法人员路面巡查一天能覆盖的街道和检查频次都有限。占道经营往往集中在早市、晚高峰、节假日这些时间段靠人工蹲守成本太高。无人机街道巡检解决了“看得过来”的问题按预设航线自动巡航把街道画面实时传回AI负责从画面里找出疑似占道经营的目标。这套逻辑落地需要四个环节配合无人机按航线采集街道视频画面图像传输到识别服务AI逐帧检测商贩摊位、违规摊点区域命中目标后自动截图并标记位置信息后端系统生成工单执法人员根据截图和定位进行复核处置。我在做的这个项目核心负责第二环——基于YOLO训练一个高精度的占道经营识别模型同时兼顾实时性。标题里提到的“数据集”是关键因为整个项目真正花时间的部分就是数据整理和标注质量把控。1.2 为什么选YOLO做检测模型市面上的目标检测方案不少两阶段的Faster R-CNN系列、单阶段的SSD和YOLO系列都有人用。我最终选YOLO主要考虑三点第一是速度。无人机巡航时的视频流需要实时处理两阶段模型精度虽然不错但推理速度在边缘设备上撑不住。YOLO的single-shot结构天然适合视频流场景。第二是生态成熟度。YOLO的社区庞大从数据标注工具、训练脚本到部署框架都有现成方案不用自己造轮子。尤其是有大批预训练权重可以用迁移学习对项目周期要求紧的情况非常友好。第三是精度和速度的调平衡空间大。从v5到v8再到更新的版本n/s/m/l/x不同尺寸模型覆盖了从边缘设备到服务器端的算力范围哪怕先训一版s模型跑通链路后面也能按需切换。提示如果是刚接触这个方向其实推荐直接用基于YOLO的现成框架起步先把完整流程跑通再考虑“魔改”结构。我在初期踩过自己写检测头的坑收益远不如用成熟模型。1.3 系统整体流程设计整个识别系统的数据流是这样的无人机视频流 → 解码抽帧 → 预处理缩放/归一化 → YOLO模型推理 → 后处理NMS过滤重叠框 → 结果叠加与截图 → 上报后端工单系统这不是一个“训练完模型就结束”的项目。模型只是识别链路的一环真正能用起来还需要处理视频流接入、置信度阈值策略、目标去重逻辑等工程问题。比如同一个摊位连续几十帧都被检测到如果每帧都上报后端就会被刷爆。所以我在设计时把连续帧命中合并为一次事件只取置信度最高的一帧截图作为证据。2. 数据集构建无人机视角下的特殊难点2.1 数据来源与采集规范无人机的视觉特性和地面摄像头差别很大。地面摄像头的画面通常是平视或略带俯角目标集中在画面中下区域无人机则是垂直于街道或斜向俯拍街道上所有物体都是“俯视的平面”商贩摊位看起来像一堆矩形色块拼在一起。因此数据集必须用无人机视角画面不能用普通监控数据替代。我在采集阶段的规范如下飞行高度在30-80米之间覆盖低空和中高空两类观察尺度飞行角度同时包含垂直正拍和45度斜拍模拟实际航线中的不同视角拍摄时段覆盖早晨、中午、傍晚确保光照角度差异场景包含商业街、菜市场周边、学校附近、普通住宅区街道收集晴天、阴天画面雨天画面单独评估无人机雨天一般不飞。采集后按街道场景分类存储每个场景的视频片段剪切为连续帧再用抽帧工具按每秒1-2帧提取避免相邻帧过度重复。这一步如果偷懒直接连续存帧后续标注时会发现大量几乎一模一样的图片纯浪费时间。2.2 类别设定与标注要点占道经营的表现形式比较多常见的包括货物堆放在店外、商贩在路边摆摊、遮阳棚或三轮车占道。我把检测类别定为三类避免类别太细导致标注混乱类别名称含义典型表现vendor_stall商贩摊位路边摊贩、简易货架、三轮车售货street_debris占道堆物店外货架、货物箱、占道杂物umbrella_tent遮阳棚/伞遮阳伞、伸缩棚、占道搭建物标注工具用的开源工具直接导出为YOLO格式的txt文件。每张图标注时注意三个细节俯拍图中摊位边界要贴着货物的实际外轮廓画框不要把地面投影面积全包进去遮挡严重的目标只要有可见特征就标不要漏掉——无人机画面中小目标本身容易漏检如果训练时标准更松学出来的模型会更漏遮挡超过一半且无法辨认的目标不标。我做了一遍“二次质检”把标注框和原图叠加导出逐张看是否有框偏移和漏标。这一步很枯燥但对后续模型精度的提升帮助非常大。2.3 数据增强策略数据增强是解决航拍小目标问题的关键手段之一。YOLO框架自带马赛克增强、随机仿射变换、色彩抖动等方法。针对无人机场景我额外重点使用了马赛克增强把4张图拼接成一张训练图让模型学会在不同背景下识别相同目标随机旋转与翻转无人机飞行方向不固定目标角度多样左右翻转和±30度旋转是必须的HSV色彩增强模拟不同日照条件下的色彩变化随机缩放模拟不同飞行高度的尺度差异。一个容易踩的坑不要随意使用90度整数倍旋转。占道经营相关场景中如果旋转过度文字方向会变得混乱比如招牌上的字倒过来反而干扰模型学习。我测试下来小角度旋转加水平翻转的组合效果最好。2.4 数据集规模建议这类项目的数据量不是越多越好但太少一定不行。以三个类别为例我的经验是每类至少要有3000-5000个标注实例并保证不同场景、不同光线条件的样本均衡分布。全部数据划分如下train 80%val 10%test 10%我用了一个相对干净的划分策略同一条街道的画面只允许出现在一个集合里避免模型“记住”特定街道的特征导致验证集分数虚高。数据目录结构保持YOLO标准格式dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/3. 模型选型与训练细节3.1 模型版本与预训练权重我在这个项目里用YOLOv8s作为主力模型。原因是v8相比之前的版本在训练稳定性和小目标检测上有改进s尺寸在边缘设备上推理速度也够。如果实测发现精度不足还能在同一个框架里升级到m或l版本不需要重写代码。训练采用迁移学习方式加载COCO预训练权重作为起点而不是从头训练。COCO数据集包含大量日常物体模型已经具备了基本的特征提取能力。对无人机街道场景来说这些预训练特征可以用较低的训练成本适配到“摊位”“杂物”这类新类别上。实际跑下来加载预训练权重后前20个epoch就能看到明显的收敛趋势如果不加载预训练从头训收敛速度和最终精度都差不少。3.2 训练参数与计算资源配置训练参数直接影响结果。我的配置如下yolo detect train \ modelyolov8s.pt \ datastreet_dataset.yaml \ epochs300 \ imgsz640 \ batch16 \ optimizerAdamW \ lr00.001 \ mosaic1.0 \ patience50 \ device0关键参数的经验值imgsz640无人机视野里摊位属于中小目标用640而不是默认的480能保留更多细节。显存够的话可以尝试768我测试过小目标AP会再涨2-3个点batch16这块取决于显存。16GB显存跑YOLOv8s、640分辨率、batch16是比较稳的组合。可以用以下公式粗估显存占用单图显存约等于输入分辨率 × 3 × 4字节 × 比例系数640×640×3×4约等于4.9MB再乘以batch和模型复杂度16GB基本够用epochs300配合早停机制设置patience50如果连续50个epoch验证集指标不提升就自动停。实际我在200轮左右就触发了早停optimizerAdamW小数据集上用AdamW比SGD收敛更稳不容易因为学习率设置不当而震荡。训练过程中观察loss曲线有两个容易误解的地方。box_loss和cls_loss持续下降说明定位和分类都在学习但如果val损失出现上升而train损失继续下降说明过拟合已经开始。此时回退到val损失最低的epoch权重或者增加数据增强强度、提高随机失活比例。3.3 实测调参记录第一次训练跑完val集mAP50在78%左右测试集上发现小目标漏检严重——尤其是10米以下的小摊位无人机高度稍高就漏了。排查后做了三个调整第一把输入分辨率从640提升到768确实保住了更多小目标细节但训练速度慢约20%推理速度也受影响。折中后保留640改用测试时增强的方式弥补小目标漏检。第二在数据增强里提高了随机缩放的比例让训练时多出现一些“远距离视角”的样本模拟无人机飞得高时看到的小摊位形态。第三对类别不平衡做了调整。占道堆物的样本数明显少于摊位检测难度又高我在损失函数里给该类提高权重让它在训练中被更多关注。4. 模型评估与实测效果分析4.1 核心评估指标模型评估不能只看一个指标。我统计了precision、recall、F1-score和mAP50最终结果如下类别PrecisionRecallF1mAP0.5vendor_stall88.2%83.5%0.8687.3%street_debris84.6%76.1%0.8082.4%umbrella_tent91.0%86.3%0.8989.6%总体上摊位这类特征明显、形状规整的目标效果最好堆物类因为形态杂乱、边界模糊精度略低。这符合预期。在实际使用中堆物类的认定本身也有主观性——同一堆纸箱有人认为算占道有人觉得暂时堆放可以接受所以模型能给出候选目标让复核人员判断更合理。4.2 典型场景实测记录训练完成后我用一段没有参与训练的航线视频做模拟巡检。视频包含一条商业街的早市时段画面里有十几个摊位、若干遮阳伞和三轮车。识别结果如下晴天、正午、垂直俯拍方向识别效果最佳大部分摊位稳定检出置信度0.6以上早晨低光照、斜拍方向识别效果下降部分小目标漏检尤其是被树木遮挡的摊位阴天光线均匀时效果与晴天接近。最容易漏检的情况是“摊位在树荫下”。无人机俯拍时树叶遮挡和阴影会破坏目标轮廓。后续我计划针对这类场景补充专门的数据并尝试切分更细致的类别比如对“树荫下的摊位”做单独增强。还有一个有意思的现象遮阳伞和摊位经常同时出现在同一区域模型会输出两个非常靠近的框。NMS非极大值抑制后有时只保留其中一个。这不是模型学坏了而是两个类别的特征确实高度相关。这种情况我会在后处理里加一个“允许同类框叠加”的逻辑避免漏掉并排摊位。5. 边缘部署与落地流程5.1 模型导出与推理优化训练完的模型是PyTorch格式不可能直接塞到无人机或边缘设备上跑。我做了标准的三步导出先转成ONNX再转成TensorRT engines最后量化为FP16精度。yolo export modelbest.pt formatonnx imgsz640 trtexec --onnxbest.onnx --saveEnginebest_fp16.engine --fp16FP16量化对精度影响很小实测mAP50只掉不到1%但推理速度提升明显。在Jetson Orin Nano上跑FP16的YOLOv8s640输入大约能到25-30FPS满足无人机巡航视频流的实时分析需求。如果算力更紧张可以换成YOLOv8n速度翻倍代价是mAP掉3-5个百分点。注意如果无人机端用的是国内厂家的SDK要先确认视频流解码格式和帧率。我遇到过一个情况无人机图传码流是H.265边缘设备硬解不支持只能降级到软解导致推理帧率直接下降一半。务必在选型阶段确认编解码兼容性。5.2 与无人机管理平台对接模型部署完毕后还要和无人机管理平台打通。我是通过RTSP拉取视频流解码后送进推理服务检测结果和原始帧叠加后推送HLS流给后端同时把置信度超过阈值的检测结果以JSON结构上报{ timestamp: 2025-06-12T08:30:00Z, camera_id: uav_03, detections: [ { label: vendor_stall, confidence: 0.87, bbox: [420, 156, 668, 332], snapshot_url: evidence/20250612_083000.jpg } ] }事件上报时做了去重同一目标连续多帧命中只算一次事件取最高置信度帧作为证据截图。最开始没做去重时后端的工单系统一天能被刷出上千条全是重复摊位审核人员直接疯了。去重逻辑虽然简单却是一个极其重要的工程细节。6. 常见问题与排查技巧实录整个项目做完我把踩过的问题整理成一张表方便后面做类似项目时速查问题表现原因解决方案小目标漏检严重高度稍高就检不出摊位输入分辨率太低、训练时小尺度样本不足提高imgsz至768增强随机缩放比例树荫下摊位检不出目标被树木阴影遮挡训练数据缺少遮挡场景补充树荫场景数据做HSV增强模拟阴影多个摊位被合并成一个框并排摊位输出单框NMS阈值过低调整NMS IoU阈值允许同类别框重叠夜间或弱光误检率高路灯下圆柱体被识别成摊位夜间样本太少模型靠颜色和形状猜补充弱光数据降低置信度阈值并增加人工复核同一摊位重复上报视频流每帧都触发缺少时间维度的去重加帧间去重按IoU过滤连续帧命中目标推理帧率上不去视频流卡顿解码格式不兼容或推理精度太高确认硬件硬解支持导出FP16引擎6.1 数据标注质量问题标注质量对训练结果的影响比模型结构更大。几轮迭代下来我对标注流程制定了强制质检要求。每张图标注完至少抽查一次框的贴合程度。尤其是垂直于地面的货物堆俯拍时轮廓不规则标注员习惯画一个最小矩形但实际应该画包含货物边缘的紧密框框太松会让模型学到大量背景特征导致定位偏大。标注一致性的问题也值得重视。多个标注员对同一目标的判断尺度不一致模型学到的特征就会混乱。我的做法是统一标注规则文档并让同一个人负责同一个街道场景的全部标注工作。6.2 置信度阈值设置技巧置信度阈值直接影响误检率和漏检率。我用验证集做了不同阈值下的效果对比最终选择0.4作为默认阈值无人机巡航画面中的合理漏检和误检比约为2比1。原因是漏检的目标需要重新飞一遍才能补拍成本远高于误检的复核成本所以阈值宁低勿高。在实际业务中如果后端审核人力充足阈值可以再降到0.3提高识别召回率。如果后端自动化处置比例高阈值要再升到0.5以上减少误报对自动处置的干扰。6.3 后续扩展方向这个项目跑通后再往后做有几个明确的方向。一是加入多帧跟踪逻辑用ByteTrack等跟踪算法把同一目标的连续帧串成轨迹进一步降低重复上报率同时能计算摊位持续时间——这对判断“长期占道”还是“临时摆放”很有价值。二是扩展更多识别类别。智慧城市治理不只管占道经营还有垃圾乱堆放、井盖缺失、道路破损等。基础的数据采集、训练和部署链路完全复用只是不断增加数据集和类别。三是建立数据回流机制。把日常巡检中人工复核过的新场景图片定期补充进训练集做增量训练模型越用越准。这个机制看起来简单但坚持三个月后模型的场景适应能力明显提升。我的体会是这种城市治理AI项目真正拼的不是算法有多炫而是数据工程做得有多扎实、工程链路有多稳定。无人机拿回来的数据每一条街都不一样同一个摊位在不同时段、不同天气、不同高度下长得完全不一样只有把这些变化喂给模型它才能在任何一次飞行里稳定找到目标。