YOLO26换PKINet主干，遥感小目标检测提升2-3个mAP的完整实践

做遥感目标检测的朋友应该都体会过这种局面模型参数越堆越多训练日志上的 mAP 却像卡住了一样小目标、密集目标、任意朝向目标漏检一片改来改去还是老样子。最近我在项目里把 YOLO26 的默认主干替换成了带多核并行设计的 PKINet 主干针对遥感场景重新整理特征提取路径mAP 相比原配置提升了大概 2~3 个点小目标 AP 提升更明显。这篇文章就是把这次“主干改进”的完整过程拆开来讲包括为什么换、网络机制怎么理解、代码怎么改、训练怎么调、哪些坑千万别踩适合正在做遥感目标检测、想通过替换主干来涨点的同学参考。整套流程不依赖特定框架思路可以直接迁移到其他检测器。1. 为什么遥感目标检测要拿主干网络开刀很多人做遥感检测上来就调损失函数、换 NMS 策略、加各种后处理技巧这些当然有用但容易忽略一个事实主干网络才是检测器的“眼睛”。如果前面的特征提取阶段就已经把小目标信息丢了后面 Neck 和 Head 做得再花哨也只是在原信息残缺的基础上修修补补。我当时改主干之前先跑通了默认配置的完整训练结果是大目标尚可小目标 AP 惨不忍睹密集场景漏检严重。回头去看特征图发现浅层还保留了一些细节到了深层输出很多小目标已经“糊”成一片。问题出在主干那就从主干开刀。1.1 遥感图像里的目标比你想的更难提特征遥感影像和普通自然图像最大的区别是目标在图像里真的“又小又多又杂”。我拿某公开遥感数据集里的场景举个例子一张 1024x1024 的航拍图可能同时包含了飞机、油罐、车辆、船只、桥梁等多种目标其中车辆往往只有十几个像素宽。这些小目标经过一次 stride 4 的下采样就只剩几个像素再经过 stride 8、16基本就彻底跟背景纹理融合了。第二个难点是方向任意。遥感目标不像自然图像里的行人、汽车那样基本是竖直的飞机可以朝任何方向停船可以朝任何方向开常规水平框虽然能用但特征对齐难度更高。第三个难点是背景复杂。一大片相似的屋顶、林地、水面纹理很容易让模型把小目标当噪音忽略掉或者把背景纹理当成目标。这些问题最终都落到一个核心诉求上主干网络必须有能力保留更多高分辨率细节同时还要具备足够灵活的感受野来区分目标与背景。1.2 默认骨干的瓶颈快速下采样和视野偏科默认的 CSP 类骨干在设计时更多面向通用目标检测强调“快”和“深”。它的优势是分类能力强、计算量友好但在遥感场景下会暴露两个明显短板。一是下采样过快。为了在深层获得大感受野网络用了几次 stride 2 卷积或 pooling浅层输出还能看到目标轮廓深层输出时小目标已经被压缩到几乎不可辨。后面 FPN 虽然会融合多层特征但融合本身就是一种“信息稀释”深层已经丢失的细节很难凭空找回。二是视野偏科。普通卷积的感受野增长是线性的默认骨干的主流卷积核尺寸相对固定对船舶这类长条形目标或者散布在复杂背景中的小目标要么只能看到局部线条要么需要堆很多层才能看到足够上下文。感受野不够灵活就会导致同一个模型在“小目标”和“大目标”之间顾此失彼。1.3 我选 PKINet 的三个理由最开始我也在犹豫要不要用更重的通用骨干比如堆更多 Transformer 模块或者大卷积核网络。后来综合评估选 PKINet 有三个非常实际的理由。第一PKINet 本身就是面向遥感检测设计的它的多分支卷积核组合方式非常贴近遥感目标尺度差异大的特点。第二通过多个不同尺寸的卷积核并行提取特征网络能在同一层同时看到小目标的局部纹理和大目标周围的上下文这种能力正好补上默认骨干“视野偏科”的短板。第三它的计算量并不是无脑翻倍大卷积核分支做了拆分和轻量化处理整体训练成本可控不是每个实验室都有 8 张高端卡可以随便烧。1.4 不是所有任务都需要换主干换主干之前要先做判断。如果你的遥感数据里主要是大目标比如整片厂区、大型桥梁类别少且相互之间差异很大那默认骨干已经够用换了 PKINet 可能收益不明显。但如果你面对的是“小目标密集、背景复杂、目标方向随意”的典型遥感场景比如车辆检测、船舶检测、机场目标识别那换主干往往比调 Head 的收益来得更快。还有一个判断信号如果你发现训练曲线整体能收敛但是小目标 AP 一直上不去而且换了更大分辨率、更强的数据增强也没有质变那就说明特征提取环节出了问题主干改进是值得优先尝试的方向。2. PKINet 到底做了什么多核并行与感受野组合在改代码之前必须先把网络结构吃透。不是背公式而是理解它的设计意图否则后面调参、改接口、排查问题都会很被动。PKINet 的核心思想可以概括成八个字多核并行、跨尺度融合。2.1 整体思路一个“多倍镜”的 Inception 式骨架你可以把 PKINet 理解成在主干网络的每个阶段放了好几个焦距不同的放大镜有的镜头适合看小目标的局部纹理有的适合看中等尺度的形状还有的适合获取大范围的背景信息。同一个特征图进来分几路并行处理每路用不同尺寸的卷积核感受不同范围最后再把各路结果融合起来。这种 Inception 式结构的好处是网络不需要在一层里被迫选择“用大核还是用小核”而是全都要。对于遥感目标来说很关键同一张图里可能同时存在几个像素的小汽车和几十像素的飞机单一尺度的卷积核很难兼顾。2.2 关键机制拆解局部细节、大核视野和跨分支融合深入一点看PKINet 每个基础模块通常包含几条卷积路径小核分支负责精细局部纹理比如车辆的轮廓、船舶的甲板线条中核分支负责中等尺度形状比如整个飞机的机翼结构大核分支负责上下文和周围背景信息比如水面纹理、建筑群分布这能帮助模型判断“这个目标是不是真的目标”。大卷积核分支如果直接硬算计算量会吓人所以实现时一般会做拆分或轻量化处理比如用深度可分离卷积、或者把大核拆成多个小核组合。这一步非常关键它保证了多核并行不是简单地把 FLOPs 翻好几倍。各路分支提取完特征后会在通道维度上融合或者通过一个简单的加权机制选择更重要的特征让网络自己学会当前区域到底更需要细节还是更需要上下文。2.3 与常见骨干的差异对比我整理了一张对比表方便你直观理解这两类骨干在遥感任务里的差异对比维度默认 CSP 类骨干PKINet 类骨干结构模式单路径堆叠卷积块多分支并行卷积核组合感受野策略靠加深网络逐层扩大同层内不同尺寸核同时覆盖小目标细节深层信息容易丢失多核融合保留更多局部细节上下文获取依赖深层大感受野大核分支直接补充上下文计算开销相对友好有拆分设计整体可控适用场景自然图像通用检测遥感/密集小目标场景更匹配这张表不是想说 PKINet 全面碾压默认骨干而是在“小目标密集 背景复杂 尺度差异大”的遥感场景里它的设计更对症。2.4 改代码前要懂的几个设计细节真正动手改之前有几个容易踩坑的细节要先记住。第一PKINet 不同 stage 的卷积核组合不完全一样浅层可能用偏小核的组合保留更多细节深层可能加大核分支来补充上下文。改配置时不要一刀切。第二它的输出通道数和默认骨干通常不是一一对应直接替换会导致 Neck 输入端 shape 对不上后面需要加适配层。第三如果使用预训练权重要注意 stem 部分的结构差异比如第一个卷积的 stride 或通道数不一致直接加载权重会报错或者静默错位。这些后面都会讲到。3. 把 YOLO26 主干换成 PKINet从目录到代码结构理解到位之后接下来就是动手环节。这部分我会按我实际操作的顺序来写尽量不给假大空的步骤。3.1 先想清楚改动范围主干替换不是“改一行配置”那么轻松但也没有想象中那么复杂。我一般把改动拆成四块模型定义文件、配置文件、构建逻辑、Neck 入口适配。Head 基本不用动。动手前做一件事把当前能跑通 baseline 的整套代码备份出一个分支或者至少记录下来原始配置。这个习惯真的很重要很多时候你改了主干之后指标下降想回看原来配置却已经找不到原始版本只能凭记忆恢复浪费时间。3.2 新增模型文件别往主配置里堆代码我建议你单独建一个backbones/pkinet.py把所有主干相关代码放在里面。这样做的好处是方便后续换网络、对比实验也让主训练代码保持干净。文件内部建议暴露一个统一的构建函数比如build_backbone输入参数是配置字典输出是一个可以调用的模块。这样检测器主逻辑里只需要根据字典决定加载哪种主干后续如果要换别的网络不用改动框架代码。3.3 用 YAML 定义 Backbone下面是一份简化版的配置示例实际字段可以根据你自己的框架调整但思路是一样的backbone: name: PKINet pretrained: true out_indices: [2, 3, 4] # 输出三个尺度的特征 in_channels: 3 stem_channels: 32 kernel_sizes: stage1: [3, 5] stage2: [3, 5, 7] stage3: [3, 5, 7, 9] out_channels: [128, 256, 512]这里最重要的是out_indices。检测器一般需要 stride 8、16、32 三个尺度的特征分别对应浅层细节、中层语义和深层全局信息。PKINet 会把若干 stage 的特征都保留下来但你要明确只取哪几层。3.4 forward 输出对齐三尺度特征是底线默认主干在 forward 末尾会返回多个特征图我们替换后也必须保持同样的返回形式。最稳妥的做法是在自定义网络类的 forward 里显式处理class PKINet(nn.Module): def forward(self, x): # 经过 stem x self.stem(x) # 经过各 stage保留中间结果 feats [] for i, stage in enumerate(self.stages): x stage(x) if i in self.out_indices: feats.append(x) return feats如果你之前的检测器代码里默认主干返回一个 list 或 tuple那就保持这种格式。很多人在这一步翻车是因为主干输出的不是一个 list而是单张特征图下游 Neck 直接拆包报错。3.5 通道数不匹配怎么处理加一个 1x1 适配头PKINet 输出的通道数大概率和你原来 Neck 预期的通道数不一致。遇到这种情况有两个选择。第一种是改 Neck 的输入端通道定义让 Neck 直接吃 PKINet 的输出通道。第二种是在主干和 Neck 之间加 1x1 卷积做通道投影这样主干的输出可以保持独立后续换网络也方便。我倾向第二种原因很简单加一个 1x1 卷积只是十几万参数量但可以让你保持 Neck 和 Head 完全不动降低回归风险。3.6 整体结构示意代码下面是一个连接主干和 Neck 的简化结构示意用伪代码形式展示核心逻辑class YOLO26WithPKINet(nn.Module): def __init__(self, backbone_cfg, neck_cfg, head_cfg): super().__init__() self.backbone build_backbone(backbone_cfg) # 加一个适配层把通道对齐 self.adapt nn.ModuleList([ nn.Conv2d(128, 64, 1), nn.Conv2d(256, 128, 1), nn.Conv2d(512, 256, 1), ]) self.neck build_neck(neck_cfg) self.head build_head(head_cfg) def forward(self, x): c2, c3, c4 self.backbone(x) c2 self.adapt[0](c2) c3 self.adapt[1](c3) c4 self.adapt[2](c4) features self.neck([c2, c3, c4]) return self.head(features)这里build_backbone和build_neck只是示意实际写的时候用你自己框架里的构建函数就行。重点记住主干只负责输出特征后面的适配、融合、检测都交给原逻辑。4. 遥感数据上的训练与调参实录代码能跑通只是第一步真正决定涨点多少的是训练策略。我从这次实验里得到的一个最直接体会是换主干不是无脑训满几百轮就能出效果它需要和数据预处理、学习率、增强策略配合起来才能发挥最大潜力。4.1 数据准备切片、重叠和增强都要重新思考遥感大图和自然图不一样通常不能直接整图输入。我习惯把 2048 甚至更大尺寸的影像切成 1024 左右的小图并设置 0.25 到 0.5 的重叠率。重叠率太低目标正好被切在边界上的概率就大相当于白白损失样本。增强策略上Mosaic 这种多图拼接增强对遥感目标其实有效但要注意别拼太碎否则小目标的上下文会被破坏。随机旋转、水平翻转、垂直翻转在遥感任务里非常必要因为目标方向本来就是任意的。颜色扰动、光照扰动可以做但要控制在较弱的幅度遥感影像的色彩分布往往比较稳定大幅扰动会引入伪影。4.2 训练超参先稳住收敛再追求涨点我这次使用的训练基线大概是输入分辨率 1024x1024初始学习率 0.001预热 3 个 epochEMA 系数 0.999训练 100 轮。多尺度训练也开着但范围控制得比较小输入尺寸在 0.8 到 1.2 倍之间随机变化。这里特别说一下 AMP。遥感小目标任务中半精度训练很容易在某些特征层产生精度损失导致小目标 AP 不稳定。我的建议是第一次跑通时先关掉 AMP用全精度训练确认曲线正常之后再把 AMP 打开对比一次。不要一上来就图省事开 AMP否则一旦数值溢出你根本分不清是主干问题还是精度问题。4.3 如何做一次公平的对照实验做主干改进最忌讳的就是实验不可控。你不能这次用 100 轮、下次用 120 轮然后用两组随机种子得出的结果对比得出“换主干涨了两个点”的结论。我这次设计了严格的 A/B 二组实验A 组是默认主干B 组是 PKINet 主干。两组的训练轮数、学习率、batch size、数据增强、输入分辨率、EMA 设置完全一致唯一的变量就是主干网络。为了排除随机性每组用固定种子至少跑 2 到 3 次取平均结果上报。4.4 从日志中提取有效信息不要只盯 mAP训练结束后我一般会先看整体 mAP再看 AP_small再看不漏检的相关指标。只报一个总 mAP 是非常危险的因为很多遥感场景下 mAP 一样但小目标表现完全不同。我这次在模拟项目 X 上的结果大致如下实验配置参数量计算量mAP小目标 AP备注默认主干约 41M约 112G58.424.7基线PKINet 主干约 40M约 121G60.828.1主干替换具体数值因为数据集的差异会有浮动但趋势在我做的几个遥感场景里是一致的总 mAP 提升 1.5 到 3 个点左右小目标的提升幅度更大。参数没有增加太多计算量略涨属于可接受范围。5. 换主干后最常见的五个坑这部分是我实际踩过坑之后的总结建议收藏一下。换主干容易排查问题不易很多坑我都是反复试错才找到原因的。5.1 显存突然爆掉先查大核分支PKINet 里面有大卷积核分支虽然做了轻量化处理但实际训练时的激活值显存占用仍然比默认骨干高一些。我一开始直接把 batch size 拉到 16结果还没跑到一个 epoch 就 OOM 了。解决思路从易到难先减小 batch size配合梯度累积来维持等效 batch再把输入分辨率从 1024 降到 960 或 896看看小目标 AP 是否还能接受最后就是检查是否真的需要那么多大核分支某些 stage 可以把大核剪掉换回小核分支减少显存占用。5.2 Loss 不收敛或者剧烈震荡换主干之后如果 loss 一开始就乱跳先别怀疑数据集先查两件事。第一预训练权重是否加载成功有没有形如“size mismatch”的警告一旦有静默跳过部分层就是随机初始化前向特征完全乱掉。第二学习率是不是沿用原来默认骨干的值了新主干对大核分支的梯度响应不一样学习率过高的概率很大。我建议初次切换时把初始学习率调到原来的 1/2 甚至 1/3先看 5 个 epoch 的 loss 趋势。稳定之后再把学习率逐步加回去。如果一直不稳关掉 AMP换成全精度再试。5.3 小目标 AP 反而下降了有一种很尴尬的情况总 mAP 没降但小目标 AP 降了不少。我排查下来常见原因是输出特征层的选择问题。如果 PKINet 的浅层细节特征没有被喂进 Neck或者普通 1x1 适配层在调整通道时过度压缩了空间信息小目标自然遭殃。遇到这个情况先打开特征可视化看看 backbone 输出的浅层特征图里目标区域是否还有响应。如果没有说明out_indices选得不对把更浅层的输出也加进来或者提升最低输出特征的分辨率。如果有响应但到了 Neck 又没了那就是适配层的问题可以考虑去掉 1x1 卷积直接改 Neck 输入通道。5.4 对比实验的效果不稳定有次我明明在同一份代码上只改了主干第一次跑 PKINet 涨了 2 个点第二次跑却只涨 0.5 个点。查下去发现两组实验的 random seed 不一样数据增强的随机序列完全乱套导致对比结论失真。后来我养成了固定随机种子的习惯并且把三个量单独控制随机种子、EMA 开关、AMP 开关。做主角替换实验时这三项必须完全一致否则结论没有说服力。5.5 问题速查表现象可能原因解决建议显存 OOM大核分支激活值占用高减小 batch、梯度累积、降低分辨率Loss 不收敛预训练权重加载失败或学习率过高检查加载日志、降低 lr、关闭 AMP小目标 AP 下降输出层选择不当或适配层压缩信息调整 out_indices、改用更大分辨率训练实验不稳定随机种子和辅助模块不一致固定 seed、统一 EMA 与 AMP 设置载入权重报错结构参数不匹配手动映射参数名忽略 shape 不一致层6. 改完主干后我养成的三个实操习惯这次主干改进项目做完之后我复盘下来觉得最有价值的不是那两三个点的 mAP 提升而是几套可复用的实操习惯。只要抓住这几个习惯以后换成任何新网络跌坑的概率都会小很多。6.1 先做可视化再谈指标改主干之后不要急着训练几十轮先用几张代表图跑一遍 forward把 backbone 输出的特征图画出来。小目标区域是否有明显响应背景纹理是否有大面积激活这些问题在特征图上一眼就能看出来比看训练曲线直观得多。我记得第一次替换完 PKINet加载预训练权重后直接跑了一组特征图发现浅层特征对飞机轮廓的响应明显比默认骨干更突出当时就对结果有了信心。可视化应该成为换主干之后的“第一个验收指标”。6.2 每次只改一个变量很多同学喜欢一次同时换主干、换数据增强、换学习率、换损失函数。如果最后 mAP 涨了根本说不清是哪个改动带来的如果 mAP 降了也不知道谁拖的后腿。我现在每一次实验只允许一个变量发生变化其余全部锁死。这次做主干改进我把“主线实验”和“支线实验”分开记录。主线实验就是默认骨干换 PKINet所有超参不变支线实验再去尝试调整对应的超参基于主线结论逐步叠加改动。这样即使某次结果不好也能精准定位到问题。6.3 不要盲目迷信“新主干”的预训练权重最后分享一个心得顶会网络提供的预训练权重通常是在通用大图上训练的它能给遥感任务一个不错的起点但并不意味着一定比“随机初始化 充分训练”更适合你的数据。我一开始直接加载权重训练 20 轮后小目标指标却一般后来尝试用更长时间从头训练反而在特定类别上更稳。我的建议是第一次先加载预训练权重跑通流程确认结构没问题之后再准备一组不加载权重的对照实验。如果数据量够大、训练轮数足够遥感数据本身分布和通用数据差异又很大那从零训练的效果可能还更好。这个结论不能一概而论但值得一试。如果你做遥感检测也卡在小目标漏检、主干特征不足的问题上希望这篇记录能帮你看清楚替换主干的完整路径。从理解网络设计到改代码到调训练再到排查问题每一环都踏踏实实做涨点只是水到渠成的事。