YOLOv8消防无人机目标检测：烟雾遮挡小目标数据集与模型优化实践

刚把一版基于YOLOv8的目标检测模型从普通场景迁移到消防救援无人机场景时我第一个直觉是“直接换数据微调就行”。结果跑完一轮验证集mAP0.5只有52.7%火焰和浓烟的目标框歪得离谱地面上躺着的人几乎全部漏检。这个结果不算意外——消防场景和常规安防、巡检场景的视觉特征差异太大了。模型认得出“人坐在椅子上”“人在走路”但认不出“人在浓烟里半蹲”“火焰在强烈气流中飘散”“烟雾从楼顶缝隙涌出那种半透明柱体”。这也是我决定重做一套专用数据集并在YOLO结构上做针对性增强的原因。FireRescue这个项目解决的核心问题很直接让搭载在灭火无人机上的目标检测模型能在烟雾遮挡、红外/可见光混合、目标尺度剧烈变化、逆光低能见度这些极端条件下尽量稳定地识别出火焰点、被困人员、消防车辆和危险障碍物。如果你正在做安防无人机、应急救援系统、或者任何需要处理“半遮挡小目标在高动态场景中的识别”的项目这篇复盘对你会有参考价值。我会把数据集构建、标注策略、模型改造、训练参数、边缘端部署和踩坑记录全部摊开讲不说废话只讲能落地的细节。1. 项目概览消防救援场景对目标检测提出了哪些特殊要求1.1 通用检测模型在火场无人机视野里为什么不够用目标检测模型在通用数据集上表现好依赖的是训练样本的分布符合日常视觉规律。消防场景恰好是这些规律被破坏最严重的场景之一。首先烟雾会大面积覆盖物体边缘被烟雾遮住的火焰和人体在模型特征层看到的就是一团模糊的渐变区域跟“背景纹理”之间的区分度极低。其次无人机飞行高度通常在40到120米之间往地面看时人体的像素高度可能只有20到40像素属于典型的小目标而通用模型的小目标召回率普遍偏弱。第三个问题来自火焰本身。火焰有高频闪烁和边界不规则变化的特点同一团火在相邻两帧里形状可能完全不一样。模型如果靠“固定的轮廓特征”去拟合火焰必然会在闪烁剧烈的画面上频繁丢失目标。再加上消防救援往往伴随逆光、彩烟、夜视补光光源色温和动态范围经常突破普通模型训练数据的范围。实测中我发现同一个YOLOv8s模型在普通街道数据上mAP0.5能到85%以上到了火场数据直接掉到65%左右漏检主要集中在人员目标上这个跌幅足以说明通用模型的泛化边界在哪里。1.2 FireRescue数据集的定位与整体架构FireRescue不是一个追求“大而全”的数据集它更强调场景约束的完整覆盖。项目团队在收集素材时刻意从三个维度设计训练样本空间火源类型、烟雾浓度等级、无人机观测高度。火源类型分成明火、阴燃火、液体火和电气火四类每类都包含燃烧初期和旺盛期两个阶段烟雾浓度按可见光能见度划分为低、中、高三个等级高度则按30米、60米、100米分档采样。数据来源包括自采集的真实燃烧试验视频、合作单位提供的历史救援录像以及一部分基于三维场景合成的仿真帧。真实帧保证特征真实性仿真帧则用来补充极端工况下难以获取的高危样本。最终的训练集包含8200余张有效图像验证集1200张测试集800张。类别体系设置为五类人员、受困人员、火焰、烟雾、消防车辆。其中受困人员单独分成一类是因为其姿态多为躺卧或蜷缩与站立的人员在特征上差异较大混在一起会让模型学不到最关键的姿态特征。整体项目架构可以理解为“数据集先行、模型适配、边缘端验证”三个环节后面的模型改进完全是基于数据集特征反馈驱动的。2. 数据集构建从真火采集到标注闭环2.1 采集方案飞行航线、云台角度与烟雾浓度怎么配比无人机的飞行高度直接影响目标的像素尺度。固定高度采集出来的数据会让模型严重过拟合到某个确定尺度。采集时我建议采用变高航线同一片火场在30米、60米、90米高度各飞一遍并且让云台在45度到75度之间摆动。很多救援无人机实际作业时不会一直垂直对地俯视和斜视下的目标形态差异很大垂直视角下火焰是一个不规则的亮斑斜视视角下烟雾会拉成长条状的羽流模型必须同时适应这两种几何变化。烟雾浓度的配比是整个采集方案的核心。浓度过低模型学不到遮挡特征浓度过高所有目标完全不可见标注框也无法准确绘制。实际操作中我们按照能见度三档进行按比例混合低浓度帧占40%中浓度占40%高浓度占20%。高浓度帧里只标注那些仍有明显轮廓的目标完全不可见的目标直接不标避免给模型传递“在烟雾中乱画框”的错误学习信号。另外务必在白天、夜间和黄昏三个时间段各采集一部分数据。夜间救援经常需要使用探照灯和红外热成像可见光通道下人体特征和背景融为一体如果训练数据全是白天拍摄模型在夜间识别时几乎会彻底失效。夜间数据量不必很大占到总量的15%就能显著拉低模型在低照度场景下的漏检率。2.2 标注规范与类别体系设计标注这类数据前要统一几个口径。第一个口径是遮挡程度目标被烟雾遮住超过70%时不建议标注低于70%时无论轮廓是否完整都应标注框体尽可能贴合可见部分。第二个口径是火焰的框选边界火焰不是固体边缘不规则统一规定标注从严即只框选高置信度的明亮焰心区域不框外围橙色光晕这样能够有效降低训练时的回归波动。第三个最重要的是把受困人员单独设为类别。普通站立人员与躺卧人员的长宽比差异极大共同使用一个person类别会让模型试图用同一个矩形框形态去拟合两种完全不同的姿态分布最终结果是两个姿态都拟合不好。受困人员单独成类之后模型的输出向量多了一个维度但检测头的计算量几乎可以忽略换来的是受困人员这一关键类别的召回率提升了近30个百分点。具体标注工坊建议分两轮先自动标注一轮把明显目标框生成好再人工微调。微调时重点修正两类错误一类是烟雾中的低对比度目标框被放大另一类是火焰框包含太多光晕区域。全部标注完成之后导出的数据格式统一为YOLO格式即每行包含类别编号和归一化的中心点x、y、宽度、高度0 0.4832 0.5112 0.0423 0.0867 1 0.6212 0.4875 0.1324 0.1154 2 0.2114 0.3321 0.1589 0.0789yaml配置文件按照五类设置名称依次是person、injured_person、fire、smoke、fire_truck。类别顺序写成这样也有讲究把检测最重要的person放在前面编号靠前的位置后续做类别过滤时操作起来更顺手。2.3 数据增强策略不只是翻转和颜色抖动常规的翻转、旋转和HSV变换对消防场景帮助有限通用增强处理不了烟雾对边缘特征的破坏。项目里测试过几种专用增强手段实际收益最大的是“烟雾叠加”和“透明度混合”。烟雾叠加不是简单地贴一张烟雾贴图上去强贴图会产生明显的拼接边界模型反而会去学贴图的边缘伪影。合理做法是使用Perlin噪声生成连续烟雾纹理再以随机透明度叠加到目标周围区域模拟真实烟雾的半透明遮挡效果。这里透明度取值一般在10%到45%之间太高会让目标完全不可见等于白白制造噪声样本。尺度扰动策略也要有意识地向小目标偏移。常规多尺度训练通常在大尺度上更充分但消防场景中小目标才是重点。我们将输入尺寸固定在640乘640的前提下额外对标注框小于32像素的目标做随机裁剪放大再粘贴回原始图像的随机位置。这个类似“Copy-Paste”的增强对小目标召回率提升非常显著它等于强制模型反复学习局部纹理特征而不是依赖大语义上下文。Mosaic增强保留但融合数量从默认的4张调成3张理由是三张不同来源图像拼接后的边界复杂度适中四张拼接在烟雾场景下过于混乱会引入大量无意义的跨图边界。颜色增强方面适度拉低亮度值和对比度模拟逆光和浓烟环境下的低动态范围画面。3. 增强型YOLO模型结构与改进细节3.1 骨干网络与检测颈部的针对性调整我们以YOLOv8n和YOLOv8s作为基线改进思路不是推翻重来而是在保留原结构加速度优势的前提下在三个位置做增强。第一个位置是骨干网络的C2f模块中嵌入坐标注意力机制。坐标注意力不是常规通道注意力它能同时编码位置信息与通道信息对检测小目标和烟雾遮挡目标非常关键。以YOLOv8n为例在C2f最后一个Bottleneck输出端并联一个坐标注意力分支相当于在特征提取时额外关注了烟雾边缘的微弱梯度变化。第二个位置是颈部的特征融合方式。原版的PAN-FPN结构对多尺度融合做得不错但在烟雾遮挡场景中浅层边缘特征和深层语义特征需要更灵活的动态融合权重。我们在特征金字塔的上采样路径上增加一层轻量权重调制层让网络自己学习“在烟雾浓重区域更多依赖深度语义特征”的调制模式。这个改动牺牲了大约0.3毫秒的推理时间换来了mAP0.5提升约2.1个百分点。第三个位置是检测头前面的自适应感受野模块。用三个并行的膨胀卷积分支聚合不同感受野的特征再通过加权求和输出。火焰区域往往旁边的烟雾会拖曳出细长的纹理特点自适应感受野能让模型同时兼顾“焰心”和“外围烟羽”两种尺度的上下文。这部分改动对小目标受困人员检测提升微弱但对烟雾本身的识别率提升非常明显。3.2 损失函数调整与正负样本分配策略火场数据天生存在严重的类别不平衡烟雾和火焰在大量图片中同时出现而受困人员出现频率极低。如果直接按默认均衡采样训练受困人员会被压制到几乎学不出来。我们的方案是按类别置信度动态调整分类损失权重让模型在训练初期更关注样本稀少的类别。具体实现中给分类损失增加一个权重张量权重的初始值设置为各类别样本频率的反比同时在训练过程中每10轮根据当前各类别AP重新平滑更新。这样做比固定权重稳定得多不会出现个别类别AP过高反过来压制其它类别的情况。边界框回归损失统一使用CIoU。原版YOLOv8默认的损失已经不错但我们在火焰目标上做了回归损失修正火焰位置和观测角度强相关同一位置在不同帧里框的中心点会漂移因此加剧偏移是合理的。回归损失里调整了长宽比惩罚项把它对火焰类别的惩罚系数从默认值降到0.7避免模型过度惩罚边缘漂移这一处看起来不起眼的改动让火焰类的mAP0.5从74.5%提高到78.9%。正负样本分配方面使用动态分配策略针对小目标烟雾遮挡下的低置信度目标将正样本匹配IoU阈值从0.5降到0.4这样让更多候选框参与学习提升召回率。3.3 训练超参数设置和实现细节完整训练配置如下表直接照着跑可以得到相对稳定的结果参数设置值说明输入尺寸640 x 640兼顾效率与细节batch size32显存不足时降至16epochs300前100轮冻结骨干浅层optimizerSGDmomentum0.937weight_decay0.0005初始学习率0.01cosine衰减warmup3 epochs线性升温随机种子固定保证实验可复现冻结骨干前100轮的好处是稳定特征收敛防止低质量真实图像上的噪声在模型初始阶段主导梯度方向。100轮之后解冻所有层把学习率降到0.001继续训练此时骨干浅层在更加稳定的梯度信号下进行精细化调整。整套训练在单张高显存消费级显卡约24GB显存上进行每轮时间大约6分钟300轮总体时间在12小时左右。训练过程跟踪loss曲线时结合分类损失和回归损失一起观察如果分类损失持续震荡但回归损失平稳需要优先检查标注框质量而不是盲目调学习率。4. 实验对比与消融复盘4.1 改进模块的消融实验数据消融实验分成三组每组都有明确的精度和速度数据。第一组是纯基线YOLOv8n第二组加入坐标注意力和轻量融合层第三组在第二组基础上继续加入自适应感受野模块。所有实验固定同一套训练集和训练参数保证对比公平。模型配置mAP0.5mAP0.5:0.95受困人员AP推理耗时(ms)YOLOv8n 基线73.4%47.1%42.6%4.2 坐标注意力 融合层75.8%50.3%48.5%4.6 自适应感受野77.9%52.6%51.2%5.1从表中能直观看到改进后的模型在受困人员类别上的AP提升接近9个百分点这是项目最看重的指标。同时也注意到推理耗时仅仅增加了不到1毫秒在边缘端仍然可接受相比性能提升这个代价完全值得。另外火焰类别AP从76.8%提升至80.2%说明自适应感受野确实帮助模型更好地捕捉了火焰的多尺度上下文。4.2 提高小目标召回率的后处理手段仅仅改进模型结构还不够小目标的召回率上限很大程度取决于后处理。火场无人机视频中出现大量密集的微小目标比如远处的一排被困人员、楼下一辆消防车周围聚集的人群此时NMS的参数设置会直接影响结果。调试中发现默认NMS阈值0.5在火场场景表现偏激进许多置信度不高但真实存在的小目标框被相邻框抑制掉。将NMS的IoU阈值从0.5提高到0.7后小目标召回率提升约3个百分点。但直接调高阈值会带来一个副作用一个目标可能同时输出多个接近的框看起来像重复检测。解决办法是在输出后添加一个基于置信度排序的二次筛选对置信度排名前K个框做均值融合只保留一个最强框。多尺度测试也值得一试。推理时对图像做1.0、0.75、0.5三种尺度缩放然后将预测结果映射回原尺寸合并。火场视频里目标尺度跨度大多尺度推理直接带来的整体mAP提升约为1.8%对受困人员单独指标提升更明显。不过多尺度推理速度会接近两倍边缘端如果帧率吃紧可以只在确认火情等级时使用。4.3 部署模型终版选型正确率与速度的折中最终在Jetson同类嵌入式平台上实测时YOLOv8n改进版在TensorRT FP16推理下耗时约5.8毫秒输入640乘640能够稳定跑到30帧以上。YOLOv8s改进版的精度比n版高约1.2个百分点但耗时上升到11.3毫秒在需要同时跑视频流和飞控算法的嵌入式平台上已经偏紧。考虑到救援无人机的实时性要求我最终选择了YOLOv8n改进版作为部署主模型搭配一套关键帧确认逻辑当检测到低置信度火焰或烟雾时立即触发一次多尺度复核复核帧的输入分辨率提升到960乘960用来确认是否为误报。这样既保证常规视频流的帧率稳定又能在关键节点维持较高精度是目前消防无人机场景下比较合理的工程折中方案。5. 边缘端部署与实时推理优化5.1 TensorRT转换与量化踩坑模型从PyTorch转到TensorRT时最容易踩的坑是自定义自适应感受野模块不支持直接导出。教训是在模型设计阶段就要考虑部署指标所有自定义结构尽量使用标准算子像膨胀卷积和坐标注意力都可以用标准卷积与reshape操作组合实现。我们最初的版本中使用了若干自定义切片算子导出到ONNX时反复报错花掉了大量调试时间。后来把这些结构全部重写成原生算子组合导出过程变得顺畅并且在TensorRT上实测没有精度损失。量化方面火场数据不适合直接使用默认的动态量化策略。默认的calibrator会倾向于用典型场景数据做校准而典型数据和火场高亮、烟雾场景分布差异太大。做法是准备一个专门的校准集从真实火场数据中抽取500张高浓度烟雾帧并在每张帧上标注重点区域量化时的激活值分布才会更贴合后续实际输入。量化后模型精度对比里FP16精度损失在0.3%以内基本可以忽略INT8精度损失接近1.6%如果对精度要求苛刻建议仅对非关键类别使用INT8或者干脆直接用FP16。在嵌入式平台上FP16的显存占用和INT8差异已经很小为了那点额外速度牺牲火场识别精度并不划算。5.2 端侧帧率优化与多线程流水方案单模型推理耗时只有5.8毫秒但整个视频处理链路还包含解码、预处理、后处理、跟踪和显示实际端到端延迟会远高于单模型推理时间。解决方式是搭建一个多线程流水线。线程A负责视频解码和缩放线程B负责TensorRT推理线程C负责后处理和跟踪逻辑三个线程通过共享内存队列衔接。这套方案上线后端到端吞吐量提升了一半左右。延迟响应火场实时场景Jetson平台需要合理分配GPU和CPU负载。解码用硬件解码器YUV转RGB放到GPU上做CUDA运算不占用CPU后处理使用CPU多核并行。实测优化后整体流水线延迟从35毫秒降到了18毫秒基本满足无人机链路端的实时预警需求。实时跟踪可以配合ByteTrack这类轻量级跟踪算法使用检测输出后接一个跟踪器是为了在连续帧中稳定目标ID既能降低误报率也可以为后续的灾情态势分析提供时间连续性依据。跟踪与检测耦合后火焰位置的历史轨迹能直接用于风力方向判断这是一个额外收益。6. 常见问题排查与现场实战记录6.1 火焰误报和烟雾漏报的典型问题火场环境中问题往往集中在高温引起的画面色偏上。火焰周边空气温度升高导致图像产生热浪波动这种波动会在局部形成规则扭动的亮色段落模型有时会把这个误判成“火焰”。排查时发现这类误报有一个特点热浪波动的帧间位置不稳定不会有火焰的连贯燃烧规律。解决方案是引入帧间一致性检查当跟踪器检测到某个火焰框在不同帧中位置剧烈跳动且形状变化超过特定阈值时降低该目标的可信度。同等条件下真实火焰的位置在短时间窗口内会有小尺度漂移形状则维持基本连续的变化这个判别逻辑加上后误报率大幅下降。烟雾漏报的问题多见于烟雾颜色与背景色调接近例如灰白色烟雾在阴天背景下轻挂过滤很容易被当成背景噪声。针对这个问题输入图像在进入网络前增加一次色度增强让烟雾的偏色特征更明显。但要注意控制强度过度增强会把背景天空也提升到强响应反而增加误报。6.2 跨天气泛化失败与数据补偿策略模型在一个晴天火场数据上表现良好迁移到阴雨天气时精度下降明显。分析原因发现训练集里低照度和湿度过高的样本比例不足雨天环境下的烟雾扩散路径与晴天差异很大雾气和雨水会直接降低整体的对比度。解决方案是采集数据时专门补充雨天和雾天场景仿真帧里也增加相应的天气滤镜。补充后泛化精度提升了约4个百分点但这个过程不能靠随机拍视频要有针对性的数据配比。最终训练集里恶劣天气样本占比控制在25%左右这部分贡献的精度提升远远优于盲目扩充普通天气样本。另外使用长焦变焦镜头拍摄的样本对模型也很关键。无人机巡检时经常需要拉近观察某个目标长焦画面里火焰和人物占画面比例更大特征表达与广角画面差异明显。原始数据以广角为主补采部分长焦样本后模型才能在不同焦距下都保持稳定识别。6.3 模型过拟合与训练稳定性的处理火场真实燃烧视频的数量有限如果不加控制模型很容易对有限样本“死记硬背”。最常见的过拟合信号是训练集上的mAP接近100%但验证集却提升到某一点后开始持续下降。经验证法选择在300轮训练中最佳验证结果出现在250轮左右之后的几十轮反而是纯过拟合。应对措施有两个一是增加强正则化在分类分支中引入Dropout比例设置0.1二是扩大数据增强范围把之前提到的烟雾叠加和Copy-Paste增强概率从原来的0.3提升到0.5。两项操作结合后验证集上的mAP曲线平稳度显著改善最终验证集结果比原来高1.4个百分点。训练稳定性方面还遇到过一个具体问题坐标注意力模块在训练前100轮时loss震荡幅度偏大原因是模块初始状态对梯度敏感。解决办法是给注意力模块增加初始化扰动并将模块的加权系数初始值设为0.1让模型在早期阶段以学习主分支特征为主。这样调整后loss曲线在训练中期明显平滑最终收敛效果也更好。6.4 火场实时部署的应急兜底策略最后必须强调再好的模型也无法做到100%正确火场实时场景一定需要兜底逻辑。我们部署的系统里如果连续15秒完全没有检测到任何目标会强制将模型切换到激进模式降低所有类别的置信度阈值扩容正样本匹配范围同时启动多尺度推理。这种激进模式会显著提升漏检目标的召回概率代价是误报增多但系统在无任何目标的情况下多输出几个烟雾框总比漏掉一位受困人员要好。配套的还有一个人工介入通道操作员可以在平板上触控点选可疑区域系统立即对指定区域进行局部高分辨率检测并将结果显示在独立的画面上。这种“自动检测为主、人工复核兜底”的混合机制在项目实际部署中反馈最好。7. 一些个人体会与后续扩展方向FireRescue项目从头到尾跑下来最深的体会有两点。第一点是数据集的场景配比远比模型结构更重要。在消防数据上模型结构的优化带来的精度提升通常在2到4个百分点而补齐训练数据中缺失的场景维度带来的往往是5到10个百分点级别的跳升。如果你也正在做类似场景的项目先把时间花在数据采集与配比设计上收效是最明显的。第二点是工程链路中真正的风险不在模型本身。目标检测模型跑通一段时间后大家都会发现烟感失真导致的系统异常、长时间的部署疲劳、客户端适配等多方面问题。在救援这类高风险场景中稳定性比单个精度指标重要得多如果检测系统在连续运行两小时后出现明显的性能退化那不论论文效果多好都无法真正投入使用。后续这个项目我计划做两个方向的扩展。一是将可见光和红外热成像通道做双流融合火场夜间作业时红外通道里的热辐射轮廓非常清晰和可见光结合后能进一步降低烟雾遮挡的影响。二是把检测结果和无人机飞控联动起来识别到火焰目标后自动调整飞行姿态与云台角度让目标始终保持在画面中心从而持续输出高质量火情态势信息。如果你在消防救援或类似的极端视觉识别场景中做过项目欢迎找我聊聊数据配比和部署优化方面的经验。这个领域少而专每一个实战数据都很宝贵。