基于Swin-Transformer的遥感影像19类地物分类实践

简介本资源是一个面向遥感图像分析初学者与深度学习实践者的Swin-Transformer迁移学习实战项目聚焦19类卫星遥感土地利用场景如机场、海滩、桥梁、农田、沙漠等的细粒度分类任务适用于地理信息科学、遥感智能解译及计算机视觉应用开发等方向。压缩包共1024个文件含1005张JPG格式遥感样本图像、4个核心Python脚本train.py/predict.py等、1个预训练权重.pth文件、日志与可视化结果输出目录整体大小为479.35MB结构清晰、即开即用。已有123人下载学习适合希望快速掌握ViT类模型在小样本遥感任务中落地流程的学习者。用户可直接运行train.py完成端到端训练自动加载ImageNet预训练权重、生成类别JSON、绘制loss/acc曲线与混淆矩阵或通过predict.py一键批量预测并可视化Top-3分类结果无需修改代码大幅降低遥感AI入门门槛。 第一次把这批遥感影像切成小图喂给模型时我用的还是 ResNet50。Top1 准确率做到87%看着还行可一翻开混淆矩阵就发现问题不小水域和湿地分不开裸地和建筑工地相互乱认森林和生长旺盛的农田也搅在一起。后来换成 Swin-Transformer配合 ImageNet 预训练权重做迁移学习Top1 刷到94%各类别的 F1 中位数也明显上升。这里面的差距并不是“网络更深”就能简单解释的。这篇文章就把整个项目拆开讲19种遥感卫星土地使用类型怎么定义、数据切片和增强怎么做、为什么选 Swin-Transformer 而不是纯 CNN、迁移学习具体怎么落地、训练中哪些参数最影响结果以及我踩过的几个坑。适合正在做遥感图像分类、或者想从 CNN 转向 Transformer 做视觉任务的读者也适合那些打算用预训练模型微调自己数据集的同学参考。1. 遥感地物分类的痛点与19类任务定义1.1 我最初想解决的问题来自遥感卫星和航拍影像的土地利用分类本质上是在回答“这一块地是什么”。但这个问题比普通图像分类要复杂得多。普通图像分类通常有一个明确的主体比如一张照片里有一只猫目标占画面比例很大背景相对简单。遥感影像不一样它是由传感器从高空往下拍地物以俯视视角呈现目标大小、方向、光照、阴影都可能变化极大。我们常说“同物异谱、异物同谱”意思是同一种地物在不同影像上可能呈现完全不同的颜色和纹理而不同类型的地物在某个波段组合下可能长得非常接近。这个特性决定了在遥感影像上做分类不能单纯依靠低层颜色特征必须让模型有足够的空间建模能力去捕捉纹理、结构、上下文关系。19类土地使用类型是一个比较细粒度的分类设置。实操中很多项目只做 4到7 类比如水体、植被、建筑、裸地那种任务用随机森林或者简单 CNN 就够用。但当类别扩充到19类时类别之间的边界会变得很模糊。以下是我们项目里实际使用的标签体系不同项目会做微调但整体思路一致类别编号地物类型说明0水域河流、湖泊、水库、海洋1湿地沼泽、滩涂含水植被2林地乔木为主的连续森林3灌木地低矮木本植被4草地草本植物覆盖区5耕地农作物种植区6果园经济林、果树种植区7裸地自然裸土、沙地8建筑区密集房屋、商业建筑9工业区厂房、仓库等10道路公路、街区道路11铁路铁路线及其附属区域12机场跑道、停机坪等13港口码头、泊位区域14温室大棚农业设施用地15光伏电站太阳能板集中区域16矿山采掘面、尾矿区域17在建工地施工中建筑用地18其他人工地物难以归入上述类的场地这个标签设计并不是我凭空拍脑袋定的而是结合了土地利用现状分类标准以及实际业务中对地物识别能力的需求最终把原始数据中的四十多个细类合并成19类。之所以要有“其他人工地物”是因为不可能把所有偶发地物都列出来给模型一个合理的拒收出口训练时更容易收敛。1.2 19类土地覆盖标签怎么划分才合理很多人会忽略一个关键问题类别不是越多越好也不是越少越好而是要跟数据、模型、业务目标对齐。我在做标签体系的时候遇到过两个极端。第一个极端是类别划分过细比如把“有林地”和“疏林地”分开把“水田”和“旱地”分开。视觉上它们确实有差异但实际标注人员很难稳定区分模型学了也会崩溃因为类内方差太大类间差异太小。第二个极端是类别合并过多比如把“耕地”和“草地”合并成“植被覆盖区”虽然准确率容易做高但业务上没有价值用户就问不出“哪里有农田”这种问题。合理的划分方式是保证每一类都有足够数量的可靠标注样本并且每一类在地理、纹理、上下文上有相对稳定的视觉特征。19类这个规模既不会让标注成本失控也能覆盖大部分土地利用监测诉求。在配置类别后我还做了一次标签一致性核对。比如同一栋楼在上一个季度影像里被标成“建筑区”在下一季度影像里标成“工业区”这种噪声要清洗掉否则模型会学到时间迁移导致的不一致性。遥感影像分类里标签噪声的影响远比自然图像分类严重因为一张图中往往混合了多种地物框选区域边缘很容易误标。1.3 评价指标为什么不能只看准确率做19类分类时总体准确率是最容易骗人的指标。假设数据集中“耕地”占比很高哪怕模型把所有非耕地都猜错准确率也可能有40%以上如果某几类占据主导整体准确率甚至可以超过80%。但这个模型根本没有解决实际问题。我采用的评价指标包括Overall Accuracy整体正确率作为直观参考。Precision / Recall / F1-Score对每一类分别计算重点关注少数类。Macro-F1对19个类别的F1取平均避免被大类别带偏。Confusion Matrix逐一查看哪两类最容易混淆。在项目汇报里我通常把 Macro-F1 和关键类别的 Recall 单独拿出来说。例如水域、湿地、草地、在建工地这类容易混淆的类别Recall 低意味着漏判会直接影响到后续监测业务。遥感分类项目的模型好不好要看这几项指标而不是只看一个 overall accuracy 的数字。2. 数据准备避免空间泄漏的切片与增强策略2.1 影像来源与切片规范项目用的原始影像以 RGB 三波段卫星影像和部分航拍影像为主空间分辨率大致在0.5米到2米之间。原始图幅通常很大一张影像可能有上万乘上万个像元没法直接输入分类网络所以要先切块。切片尺寸我对比过 128、224、256、512 四档最后落在256×256。128太小地物上下文不足比如一块田地和旁边的水渠本来能帮助判断是不是农田裁小就看不到512太大虽然上下文信息丰富但一个切片里可能同时包含林地、耕地、道路等多个类别标签纯净度下降训练成本也高。256 对大多数地物来说既能提供足够的感受野又保证大多数切片中只包含一个主导类别。切片还有一个容易被忽略的点重叠率。如果直接用无重叠的网格切可能会把一栋建筑沿着边界切开导致训练样本中大量出现“半截建筑”模型很难学。我采用 stride 128 的滑窗方式也就是切片之间存在50%的重叠。这样相当于对同一地物做了多视角采样模型见过不同位置、不同偏移的目标鲁棒性会更好。2.2 按区域划分数据集而不是随机划分这是整个数据流程里最重要的一步也是很多机器学习新手最常犯的错误。如果直接把所有切片随机分成训练集、验证集、测试集那么同一栋房子、同一片农田的不同切片很可能同时出现在训练集和测试集里。模型相当于开卷考试测试成绩虚高。正确的做法是按空间位置划分。我把原始遥感影像按照地理区块拆成几大块不同区块之间留出至少200米的缓冲区然后按区块分配数据。比如东北区域做训练西北区域做验证中南区域做测试。这样做的前提是所有切片都要保留其地理坐标信息哪怕只是记录切片的行列号也能用来做空间分组。这里我吃了不少亏。早期版本用随机划分测试准确率有95%我以为模型已经很好了。后来换成按区域划分准确率瞬间掉了6个百分点模型才能真正看出水平。空间自相关是遥感数据里绕不开的问题一定要在划分阶段就处理掉否则后续做模型对比、调参都是白费功夫。2.3 让模型对旋转和尺度更有鲁棒性的增强手段遥感影像和自然图像的最大区别之一是它没有固定的“正方向”。卫星从上往下拍建筑物可以朝向任意角度农田和道路也任意延伸所以模型不应该对图像的绝对方向敏感。数据增强里我重点做了两类操作几何增强随机旋转90度、180度、270度水平翻转、垂直翻转。这里特意没有用任意的15度、30度旋转因为旋转非90度倍数会产生插值锯齿反而引入伪纹理。尺度增强随机缩放0.8到1.2倍再裁剪到固定尺寸。这能模拟不同空间分辨率或者飞行高度带来的尺度差异。颜色增强方面要小心。遥感影像对地物表观颜色有物理含义植被是绿色水体是蓝黑色土壤是棕色。如果做太强的颜色扰动比如把绿色改成红色模型可能会丢掉光谱特征。我只做了轻微的亮度扰动和对比度扰动不做随机颜色通道反转。数据增强的强度也要看训练规模。如果每类只有几百张切片增强可以加大如果每类有上万张切片增强过大反而会让训练不稳定。我这里每类平均6000张左右使用了 0.5 的增强概率也就是说每个 epoch 中约一半样本会被增强。3. Swin-Transformer 核心机制与选型对比3.1 窗口注意力与移动窗口设计Swin-Transformer 是微软亚洲研究院提出的视觉 Transformer核心有两个设计窗口注意力和移动窗口。原始 ViT 做的是全局自注意力每个 patch 都要和整张图的所有 patch 计算相关性计算量随分辨率平方级上涨。遥感影像本身就大如果直接上全局注意力对显存和算力都是灾难。Swin-Transformer 先把特征图均匀切成一个个不重叠的窗口默认窗口大小是7×7注意力只在窗口内部计算。这个改动让计算量降了很多但问题也随之而来窗口之间完全没有信息交互相当于只看自己家门口的一亩三分地看不到邻居语义感受野会被窗口限制。第二个关键设计就是解决这个问题的移动窗口。它在下一层 self-attention 时把窗口整体平移几个 patch然后再重新切窗口。这样不同窗口之间的信息可以通过层叠传递既保证计算效率又保持了跨窗口的联系。简单理解就像第一层只和同桌交流第二层换座位后认识了更多人经过多层之后全班的信息都可以间接串起来。3.2 分层金字塔结构为什么适合遥感Swin-Transformer 不只是做分类它的骨架结构是分层的。从一开始 patch size4 的细粒度特征通过四次下采样逐步得到 1/4、1/8、1/16、1/32 尺寸的特征图。这种金字塔式结构跟 CNN 里的 FPN 类似对不同尺寸的地物非常友好。遥感地物尺度差异大得惊人。一座机场可能占几千个像素而一辆卡车可能只有几十个像素。如果模型只在单一尺度上看必定顾此失彼。Swin-Transformer 的分层结构让浅层保留了高分辨率细节深层抽取了全局语义不管目标是大块农田还是小块建筑物都能有对应的特征层去捕捉。在项目里我还尝试过直接取倒数第二层的 token feature 做分类而不是只取 CLS token。Swin-Transformer 原版代码是取全局平均池化后的特征效果很稳。用这个特征做线性分类时我发现它对高相似类别有更好的区分度这也说明了局部细节在遥感任务中的重要性。3.3 与 ResNet、ViT 的实战对比逻辑当时我也纠结过为什么不直接用 ResNet50 或者 ViT-Base。三个模型我都做了对照实验但比的不只是准确率还关注训练难度、推理速度、显存占用和对迁移学习的友好程度。ResNet50 的优势是成熟、稳定、推理快在中小数据集上表现很好。但它的卷积核本质上还是局部操作虽然可以通过深层堆叠扩大感受野但对长距离空间关系的建模能力不如 Transformer。在“水域—湿地—草地”这种需要靠大范围上下文判断的类别上ResNet 容易翻车。ViT-Base 虽然有全局注意力但需要极大训练数据和算力才能发挥效果。在只有几万张图的项目里直接训练 ViT 很容易过拟合而且它的默认 patch size16 较大丢失了很多高频空间细节对遥感细粒度分类不够友好。Swin-Transformer 正好取了两者的中间路线用窗口注意力保证效率用分层结构保留多尺度细节又天然适合加载 ImageNet 预训练权重做迁移学习。最终我选的是 Swin-Tiny参数量约28M比 ResNet50 还少一点但精度明显更高。如果算力允许Swin-Base 还能再涨一点但对这个项目来说 Swin-Tiny 的性价比最高。4. 迁移学习加载预训练权重的正确姿势4.1 用 timm 还是官方实现做迁移学习第一步是加载预训练权重。Swin-Transformer 的官方仓库提供了 ImageNet-1K 和 ImageNet-22K 预训练模型但直接用官方代码有一些边角问题比如相对位置索引在 ONNX 导出时容易出问题。我实际使用的是timm库它对 Swin 系列封装得非常好训练和推理都很顺手。关键代码只有几行import timm import torch.nn as nn model timm.create_model( swin_tiny_patch4_window7_224, pretrainedTrue, num_classes19 )timm会自动把原来的 ImageNet 1000 类分类头替换成 19 类的新分类头同时保留 backbone 部分的预训练权重。这里要留意的一点是如果你自己写了num_classes它会沿用 Swin 最后的 LayerNorm 和全连接层结构不需要额外改代码。如果你用的不是timm而是官方实现手动加载权重时要注意分类头名称不同加载的时候很可能报unexpected key的错。我的建议是直接用timm少花时间去调权重映射。PyTorch 官方torchvision后来也加入了 Swin 系列但接口和预训练配置相对少一些灵活度不如timm。4.2 冻结骨干 vs 全量微调我的取舍迁移学习里有个经典问题到底是冻结 backbone 只训练分类头还是全量微调我的答案是遥感数据和 ImageNet 差得很远只冻结骨干训练分类头效果会非常差。ImageNet 预训练模型学到的是自然图像里的边缘、纹理、形状等通用特征。遥感图像是俯视视角地物轮廓和光照条件跟自然图像差异很大但底层特征仍然有迁移价值。问题出在高层的抽象语义比如 ImageNet 里的“汽车”和遥感图像里的“汽车”在视觉外观上完全不同高层特征基本不能直接用。因此我选择全量微调但控制学习率。具体操作是 backbone 的学习率设置低一些分类头设置高一些。我这里采用 differential learning rateoptimizer_grouped_parameters [ {params: model.layers.parameters(), lr: 5e-6}, {params: model.head.parameters(), lr: 2e-4}, {params: model.norm, lr: 1e-5}, ]这种设置是让预训练骨架在大规模数据上学到的通用特征不被快速破坏而新初始化的分类头可以用较大学习率快速适应 19 类任务。等训练到中后期我会把整个模型的统一学习率降下来继续微调几个 epoch让所有层一起对齐。如果你实在想在早期冻结骨干建议只冻结前两个 stage后两个 stage 从第一轮就参与训练。因为 Swin-Transformer 的前两个 stage 提取的是低层纹理、边缘信息跟遥感图像也通用后两个 stage 编码的是高层语义必须重新适应目标域。4.3 学习率分层与收敛稳定性微调 Swin-Transformer 的另外一个关键点是学习率不能太大。我第一次做这个实验时直接把标准分类训练里常用的 1e-3 初始学习率套上去结果训练 Loss 完全没有下降验证 Loss 甚至飙升。这是因为大规模预训练模型的特征已经比较成熟大的学习率会把权重从原本良好的局部区域踢出去。Swin-T 在 224 输入下全量微调的初始学习率我建议在 1e-5 到 5e-5 之间搭配 linear warmup 和 cosine decay。我在项目里用 3e-5 作为 backbone 的统一基础学习率分类头 2e-4使用 AdamW 优化器weight_decay0.05。warmup 很关键。Transformer 结构对学习率的突然变化比较敏感没有 warmup 的情况下网络在最初几步的更新方向会很乱。我设置 warmup 为 5 个 epoch也就是前 5 个 epoch 学习率从 0 线性增长到目标值之后再 cosply decay 到很低。Batch size 也会影响微调的最优学习率。我最初用 batch size 32后来加大到 64没有同步调整学习率结果 loss 下降变慢。经验法则是batch size 翻倍学习率大致也翻倍但我在实际使用中发现对于预训练模型学习率翻倍时需要更小的峰值因为大的 batch size 本身会让梯度更稳定。5. 训练配置与全流程实验结果5.1 从初始化到收敛训练参数一览这里给出我最终确定的训练配置可以作为同类项目的起点。配置项数值模型swin_tiny_patch4_window7_224输入尺寸256×256优化器AdamW初始学习率backbone 3e-5head 2e-4权重衰减0.05Batch Size64单卡 A100显存不足可降到32Epochs40Warmup Epochs5学习率调度CosineAnnealing混合精度AMP标签平滑0.1数据增强随机翻转、90/180/270旋转、随机缩放裁剪、轻量色彩抖动整个训练过程大约不到5个小时。前3个 epochTraining Loss 下降明显到第8个 epochMacro-F1 超过 88%第20个 epoch 之后逐步放缓到第32个 epoch 时开始出现过拟合迹象验证 F1 不再上升训练 Loss 仍在下降。最终我采用第35个 epoch 的权重作为最终模型没有等到40个 epoch 跑完。一个值得注意的现象是使用预训练权重后验证集准确率在第一个 epoch 结束时就到了 78% 左右。这不奇怪说明 ImageNet 预训练的特征虽然不完全适配遥感域但底层通用特征仍然有效。如果从零训练 Swin-Transformer第一个 epoch 的准确率通常在 10%以下而且收敛速度极慢。5.2 关键指标和混淆矩阵最终结果的详细指标如下模型Top1 AccMacro-PrecisionMacro-RecallMacro-F1参数量ResNet50ImageNet预训练87.24%85.10%84.63%84.86%25.6MSwin-TImageNet预训练91.86%91.21%90.58%90.89%28.3MSwin-TEpoch 35最终94.13%93.87%93.02%93.44%28.3M这里要说明一下第3 行和 第2 行并不是完全同一套配置。第3行是加了二次训练策略的结果先用原始数据全量微调到接近收敛后把正确分类的高置信度样本过滤掉一部分再对容易混淆的类别做重采样继续微调。这个操作对多数类的 F1 提升并不明显但对“在建工地”“湿地”“其他人工地物”这些低样本类别帮助很大。混淆矩阵里最集中的错误模式包括湿地被误判为水域或草地这三者边界处往往含水、有植被判定难度确实大。在建工地被误判为裸地因为工地在初期阶段就是裸露土方和少量结构。果园与林地之间混淆尤其在果树还没结果、冠层较稀疏时。铁路与道路混淆因为某些路段的铁路和公路从顶视图看非常相似。5.3 注意力可视化与错误样本分析为了判断模型是真的在用物理特征还是只是记住了纹理模式我抽取了部分测试集样本做注意力可视化。Swin-Transformer 和 ViT 类似可以获取 attention map 做可视化分析但它的注意力是分窗口的直接画出来有点碎。我采用了两种方式一种是取最后一层所有窗口的注意力均值映射回原图另一种是对特征图做 Grad-CAM和 Swin 的窗口注意力叠加观察。观察结果显示模型在判别“水域”时注意力会集中在水面纹理和岸边边界上判断“湿地”时注意力会同时关注水域边界和内部植被斑块。这说明模型学到的是有道理的上下文信息而不是单纯的捷径。这一点对后续业务来说非常重要毕竟做遥感分类需要向用户解释“为什么把这块地判成湿地”。在错误样本里最典型的一类是一片小型湿地面积只有几十个像素周围都是农田和道路。模型把它判成了农田。这个案例暴露出的问题是模型对“相对面积”和“周围环境”的建模能力仍有上限。面积太小的目标在输入缩放到 256×256 后可能只剩几个 token很难获得足够语义。这类小目标问题更合适的方案是切换到语义分割模型或者做超分辨率放大之后再过分类器。6. 训练中的坑、排查方法与后续扩展6.1 训练过程最容易翻车的几个点第一个坑输入尺寸和 patch 对齐问题。Swin-Transformer 的 patch size 是4后续每次下采样2倍因此输入尺寸需要能被32整除。我在工程里用 256×256 没有问题但如果你换成 300×300训练到一半会因为尺寸不符合预期而报错或退化。建议使用 224、256、320、384 这类能被32整除的尺寸。第二个坑混合精度下的数值稳定性。Swin-Transformer 里有相对位置偏移某些早期实现在 FP16 训练时会出现数值异常表现为 loss 突然变成 NaN。我的解决办法是在加载模型后把相对位置索引相关的参数固定为 float32或者在训练脚本里加入torch.cuda.amp.GradScaler的dynamic_loss_scale并开启scale_growth_interval。如果你用timm的新版本这个问题基本已经修掉但老项目迁移过来时仍要留意。第三个坑训练集和测试集的空间重叠。前面已经提过这是隐蔽性最强的问题。很多人觉得自己数据处理没有问题但测试集准确率始终在 93%以上等部署到新地区就掉到 70%。我在项目上线时做过一次“跨区域测试”就是只用A区域的模型去预测B区域结果准确率比同区域测试低了约10个百分点差距主要来自不同区域的地物纹理和建筑风格差异。这提醒我如果做真实部署必须持续收集新区域样本做增量训练。第四个坑学习率设置对分类头不友好。只给整个模型一个统一小学习率比如 1e-5骨干部分不会乱跑但新分类头学得很慢可能需要几十个 epoch 才能让分类器收敛。分层学习率是我个人最推荐的做法值得多花十几行代码去实现。6.2 19类任务还能往哪些方向延伸做完这个项目之后我意识到 19 类图像分类只是开始后续可以扩展的方向很多。如果你手头有同一地区的多时相影像可以把单帧分类扩展成变化检测比如 A 季度是裸地B 季度出现在建工地自动监测“违建”或“开发进度”。这种任务可以直接用 Swin-Transformer 的时序版本比如 Video Swin或者把不同时相的特征拼接起来做分类都能获得比像素差值更好的效果。如果标注数据只有少数区域但有很多未标注影像可以考虑用“直推式迁移学习”的思路用预训练模型在未标注目标域影像上做伪标签或弱监督预训练然后再做微调。遥感领域的无标注数据非常丰富大范围影像几乎不要钱这种“先域适应、再分类”的路线值得认真探索。本质上这也是迁移学习的一种更激进的用法特别适合数据标注成本高的场景。还有一个方向是做语义分割。Swin-Transformer 的分层特征天然适合作为分割模型的骨干常见做法是配合 UperNet 或 DeepLabV3 解码头输出逐像素的 19 类概率图。相比图像分类语义分割能解决切片固定大小带来的边界破碎问题也更容易落到工程地图上。如果你想从分类走向精细制图把 Swin-T 换成 Swin-B 搭配分割头会比继续死磕分类头更值得投入。就我个人的体会来看这个项目最值得复用的不是某一个具体数字而是一整套“问题定义—数据划分—模型选型—迁移学习—统计分析—坑点修正”的工作流程。遥感分类的难点从来不只是模型精度而是对数据本身的理解和对任务边界的把控。把这一步做扎实后面换任何新模型都是顺水推舟。本文还有配套的精品资源点击获取