Unet++混凝土裂缝分割实战：从深度学习原理到裂缝宽度自动量化

简介面向混凝土墙面与道路裂缝检测场景这一基于Unet网络模型的图像分割Python项目适合具备一定深度学习基础的研究者与工程人员用于路面、墙体等病害区域的自动化识别。项目提供完整数据集与代码其中约2300张裂缝图像及对应标注压缩包内共有2000个文件以1877个PNG图像为主要数据与掩码116个JPG为原始图片5个Python脚本和2个TXT说明组成训练与推理模块。代码实现灵活训练时可选Adam、SGD、RMSProp优化器损失函数采用BCE逻辑损失学习率支持恒定、余弦退火与Step衰减三种策略训练自动保存最优与最后权重并输出预处理可视化、Dice/Loss曲线及日志便于分析调参。已有222人学习下载资源整体约320.54MB内容组织清晰适合作为裂缝分割任务从数据准备到模型训练的完整实战参考。1. 基于 Unet 做混凝土裂缝分割难点不在网络而在像素细节墙面上的细裂缝常常只有两三个像素宽道路裂缝却又宽又粗还拖着阴影和修补痕迹。同样是“裂缝”这两类目标放进同一次分割里会让普通 UNet 顾此失彼网络一深细节跟着下采样丢掉网络一浅粗裂缝的上下文又不够。所以做这个场景才会选 Unet 而不是直接套 UNet。Unet 的关键不在于层数更多而是把编码器和解码器之间的跳跃连接重新编排成嵌套结构让每个解码层都能拿到不同分辨率的组合特征墙面细裂纹不至于断线道路粗裂缝也不至于糊成一片。整套做完你会得到一份能跑通的 Python 训练代码、一套带重叠裁剪的裂缝数据集处理流程以及从分割结果反推裂缝宽度的量化方法而不只是输出一张掩膜。2. 为什么选 Unet从 UNet 到密集嵌套结构的改进逻辑2.1 UNet 分割混凝土裂缝时的两个典型问题UNet 的经典设计是编码器下采样提取语义、解码器上采样恢复细节再用跳跃连接把同分辨率的低级特征拼回来。这套结构做器官分割、车牌分割问题不大但放到墙面和道路裂缝上会暴露两个典型问题。第一个问题是细裂纹被下采样吃掉了。编码器每下采样一次分辨率就减半两三个像素宽的墙面裂缝在深层特征图里只剩一个不连续的点。到解码阶段再上采样UNet 只恢复一次空间精度跳跃连接又只能补回同层的单份信息最终预测结果自然把细裂缝连成虚线。很多人反复加深网络、加注意力效果提升仍不明显根子其实在特征融合方式而不在卷积宽度。第二个问题是道路裂缝的阴影和油渍会骗过浅层特征。浅层编码器对边缘敏感但分不清裂缝边缘和阴影边缘深层编码器语义强但分辨率低。UNet 的跳跃连接是单条直连相当于让解码层只信任同一个尺度来源的信息多尺度之间缺少互相校正的环节。裂缝数据里一旦同时混了墙面和道路两类背景这种单条连接的误检率就会明显上升。这也是为什么有人先去套 YOLO 检测框但检测框给不了像素边界最后还得绕回分割。2.2 Unet 密集跳跃连接每个解码节点都做二次卷积融合Unet 最早在医学图像分割场景里提出思路不是换 backbone而是把编码器和解码器之间的“一条直路”改成“一组嵌套路径”。把编码器不同层的输出记为 x00、x10、x20再逐层生成 x01、x11、x02 这些中间节点。生成规则是同一分辨率的前序输出与来自下一层上采样的输出做通道拼接过一组卷积再传给下一个节点。理解这个结构最直接的方式是看节点之间的运算。忽略 batch 维度和通道维度后一个节点可以写成下面这样。# 伪代码Unet 单个节点的拼接与卷积 x01 conv3x3_bn_relu(cat([x00, upsample(x11)], dim1)) x02 conv3x3_bn_relu(cat([x00, x01, upsample(x12)], dim1))而 UNet 的同层解码输入是cat([skip_x00, upsample(decoder_up)])差别就在于多了 x01、x02 这些中间节点。每多一个节点当前层就多一次对高分辨率特征的重新卷积裂缝细节是被“接力”保留的而不是进入下采样后彻底丢掉。细裂缝的高分辨率特征在每个解码节点里都会被重新加权一次粗裂缝的上下文也能回传到浅层节点用来压住阴影误检。工程上比较省心的实现是直接调用 segmentation_models_pytorch 里的 UnetPlusPlus 接口配合 encoder_depth 参数调嵌套深度第 4 章会给出可执行代码。2.3 网络深度选择L2、L3 还是 L4Unet 的嵌套深度决定了中间节点的数量也从根上影响显存占用和分割表现。实际项目里不会一上来就上最深的配置而是先看手头数据量。嵌套深度解码节点规模常用场景L2较小小数据集、快速验证墙面细裂纹优先L3中等常规默认路面与墙面混合数据L4较大裂缝形态差异大、背景复杂需要强上下文经验是切完片后如果样本量低于 1000 张L2 往往足够L4 在这种规模下反而容易过拟合如果项目要顺带处理桥墩、隧道衬砌这类背景复杂的病害照片直接上 L4 比较稳。2.4 深度监督与推理期裁剪Unet 还提供了深度监督选项训练时每个解码节点都接一个 1×1 卷积计算损失梯度能同时到达浅层和深层。工程上有一个非常实用的技巧L4 训练完成后推理阶段可以把最后一个嵌套块裁掉只保留 L3 的预测头速度能上来一截而精度损失往往在 1 个百分点以内对裂缝这种二分类分割任务非常划算。损失函数层面裂缝正样本占整张图的比例经常低于 3%直接用交叉熵会让模型偏向预测背景。常见做法是 BCE 加 Dice 的组合损失形式记为loss 0.5 * BCE Dice两个分量量级接近不用单独调权重。如果阴影背景误检仍然高可以再并入 0.4 权重的 Focal Loss让网络更关注难分类的裂缝像素。3. 裂缝数据集与预处理墙面、道路分开做的三个环节3.1 数据源与标签格式公开裂缝数据集与自建桥墩病害数据补充做裂缝分割的第一步是统一掩膜格式。公开能拿到的裂缝数据集主要是 CrackForest 这类城市道路数据集和 DeepCrack 系列前者偏向沥青路面纹理后者包含墙面和地面混合场景。两者的标签格式不完全一致有的是边缘线有的是区域掩膜。处理时统一转成 0/255 的单通道 PNG再二值化为 0/1 标签这是后续所有流程的前提。如果项目范围还包含桥墩、隧道衬砌等构筑物可以补充桥墩病害数据集这类数据背景纹理更复杂能明显提高模型在真实巡检照片上的泛化能力。真实项目里还有一个常见操作把厂家巡检视频按间隔抽帧后手动标注间隔按拍摄速度定避免连续帧高度相似导致训练集冗余。3.2 图像切片函数重叠裁剪与镜像补齐墙面和道路原图通常在 1000×1000 以上直接进网络要么撑爆显存要么把裂缝缩得太小。常见做法是切成 256×256 或 320×320 的补丁重叠率取 50%也就是 stride 等于 patch 的一半。0.5 重叠率的作用是让跨切片的裂缝同时在两个补丁里完整出现减少边界处的断裂误判。def crop_with_overlap(image, mask, patch_size256, stride128): h, w mask.shape[:2] patches [] for y in range(0, h - patch_size 1, stride): for x in range(0, w - patch_size 1, stride): img_p image[y:y patch_size, x:x patch_size] mask_p mask[y:y patch_size, x:x patch_size] patches.append((img_p, mask_p)) # 尾行尾列不足一个 patch 时用镜像补齐后单独取块 if y patch_size h or x patch_size w: pad_img np.pad(image, ((0, patch_size), (0, patch_size), (0, 0)), modereflect) pad_mask np.pad(mask, ((0, patch_size), (0, patch_size)), modereflect) for yy in range(0, h, stride): for xx in range(0, w, stride): if yy patch_size h or xx patch_size w: patches.append((pad_img[yy:yy patch_size, xx:xx patch_size], pad_mask[yy:yy patch_size, xx:xx patch_size])) return patches代码逻辑先用步长遍历生成完整补丁图高宽不能被步长整除时剩余区域用 reflect 镜像补齐后单独取尾块。参数上patch_size256 是计算量与感受野的折中320 能保留更多上下文但显存占用增加约一半stride 与 patch_size 相等时不重叠、无冗余但边界裂缝容易断重叠率越高训练样本重复度越高0.5 是精度与过拟合风险的平衡点。3.3 裂缝场景专属增强策略第三个环节是数据增强。通用分割里的随机裁剪、翻转可以直接用但要额外加三类针对裂缝的增强亮度扰动、阴影模拟、椒盐噪声。真实墙面和路面常有光照不均亮度乘性扰动在 0.8 到 1.2 之间比较合适gamma 变换则用来模拟逆光。这里有一个容易忽略的点做增强时不能对图像做随意缩放或者缩放后必须同步等比例变换标签。裂缝宽度是后续评估的核心指标图像一旦被放大而标签没跟着放大训练出的模型在推算真实宽度时会系统性偏大。常用参数按下面这张表配置。增强操作代表参数适用场景水平/垂直翻转p0.5墙面裂缝道路裂缝同样可用随机旋转15 度以内保留裂缝长轴方向亮度对比度0.8~1.2模拟阴天、逆光巡检照片高斯噪声sigma 不超过 5模拟路面颗粒纹理gamma 变换gamma 0.8~1.5修补强阴影干扰3.4 标签质量检查骨架化看连通性标签画得太粗、断点太多是裂缝分割训练失败的首要原因。训练前我会做一轮快速检查对每一张掩膜做骨架化并统计连通域数量如果一条真实裂缝被切成超过 3 段说明标签断点过多模型的预测结果也会跟着断。用 scikit-image 的 skeletonize 配合 scipy 的 label 就能完成统计跑完全部标签只需要半分钟左右能赶在训练前把数据问题暴露出来比事后反复调损失函数高效得多。4. 基于 Python 的 Unet 训练从模型定义到参数调优4.1 模型定义优先用现成库自己手写反而容易错Unet 的工程实现细节不少节点间通道数、上采样衔接、深度监督的损失计算都要处理手写容易出 bug。我一般直接用 segmentation_models_pytorch 封装好的 UnetPlusPlus它支持预训练编码器换 backbone 只改一个参数。完整代码的工程结构通常拆成 train.py、predict.py、utils.py 三个文件模型定义独立成 model.py。import segmentation_models_pytorch as smp model smp.UnetPlusPlus( encoder_nameresnet34, # 主干网络 encoder_weightsimagenet, # 预训练权重 in_channels3, # 输入图像通道数 classes1, # 二分类只分割裂缝 decoder_attention_typescse, # 解码器注意力 encoder_depth5, # 编码器深度对应嵌套 L4 )参数说明encoder_name 决定主干网络resnet34 是速度和精度的常见折中encoder_weights 加载 ImageNet 预训练可以少训练很多轮classes1 表示输出单通道 logits后面接 sigmoid 得到裂缝概率decoder_attention_type 里的 scse 是类似压缩激励的注意力会增加少量计算量但对阴影区域抑制有帮助。如果显存紧把 resnet34 换成 resnet18或者将 encoder_depth 从 5 改成 4。4.2 Dataset 与数据加载写法训练前要把切片和标签组装成 torch Dataset。掩膜是单通道 PNG 的话需要先灰度化再二值化下面这段是核心部分。class CrackDataset(Dataset): def __init__(self, img_files, mask_files, augFalse): self.img_files img_files self.mask_files mask_files self.aug aug def __len__(self): return len(self.img_files) def __getitem__(self, idx): img cv2.imread(self.img_files[idx]) # BGR 读取 img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 转 RGB mask cv2.imread(self.mask_files[idx], 0) # 单通道 _, mask cv2.threshold(mask, 127, 1, cv2.THRESH_BINARY) img img / 255.0 img torch.from_numpy(img.transpose(2, 0, 1)).float() mask torch.from_numpy(mask).unsqueeze(0).float() return img, mask注意掩膜二值化放在__getitem__里而不是离线处理阶段好处是每次读取都走同一套清理逻辑不会被预处理脚本的中间状态干扰。用了 ImageNet 预训练编码器的话图像归一化建议配合通道标准化而不是简单除以 255否则预训练权重的统计口径对不上。训练时跨 batch 随机翻转这类轻增强也应加在这个类里增强对象必须同时包含图像和掩膜。4.3 训练参数表照着这套起步再根据显存调整训练参数直接决定能否训得动。下表是一套我常用的起步配置显存不够时优先减 batch size再减 patch size不要一上来就降学习率。参数名起步值调整建议patch_size256320 以上需要更大显存batch_size8显存不足时降到 4配合梯度累积学习率3e-4AdamW 常用区间 1e-4~3e-4优化器AdamW比 Adam 更不容易跑飞最大 epoch100可以设 200但要配早停早停 patience15验证集 Dice 连续 15 轮不升则停混合精度AMP省一半显存开启梯度缩放训练循环里有个细节经常被忽略掩膜是 0/1 二值模型输出是未过 sigmoid 的 logits损失函数要选带 logits 的版本。PyTorch 的 BCEWithLogitsLoss 在内部做了数值保护Dice Loss 则要在计算前自己做一次 sigmoid两者不要混用否则损失曲线会反复抖动。4.4 训练中的三个坑数据不平衡、验证集选择、标签漏标第一个坑是正样本像素占比过低。统计后如果裂缝像素占比低于 1%建议在 Dataset 里做加权采样对含裂缝的补丁提升读取概率而不是在损失函数里硬调权重。第二个坑是验证集和训练集来自同一段巡检视频的邻近帧导致验证指标虚高。切分数据集时要按拍摄区域来分不要随机打乱帧级文件否则模型遇到水沟边、桥墩这类新背景时性能会明显跳水。第三个坑是标签漏标。手工标注经常漏掉细裂缝这会让模型在“漏标区域”给出高响应验证 IoU 反而下降表面看像过拟合实际是真值错误。遇到这种情况把预测结果和原图叠加、逐张看难例比调参数更解决问题。5. 从预测掩膜到裂缝宽度推理拼接与量化评估5.1 切片推理的拼接方式推理阶段把 256 切片送进网络后重叠区域不能简单丢弃。常见做法是每个像素保留它在所有覆盖它的补丁中的预测均值追求质量时往重叠区加一个高斯权重中心像素权重最高、边缘像素权重最低这样拼接出来的掩膜在补丁边界不会出现块状接缝。全图掩膜出来后先做 0.5 阈值二值化再做一次开运算去掉孤立噪点规则很简单面积小于 20 像素的连通域直接删除。5.2 评估指标的优先级语义分割里 IoU 和 Dice 都要看但对裂缝来说更重要的是预测宽度的相对误差。IoU 对细裂缝太严格两像素宽的裂缝上错位一个像素IoU 就会掉到 0.5 以下让人误以为模型很差。所以我通常同时看三个指标Dice 衡量断裂程度IoU 用来与别人的结果横向对比宽度均方误差才是业务指标。项目报告里这三个分开写后面算裂缝等级时只看第三个。5.3 估计真实裂缝宽度骨架化加距离变换这个环节最值得做。把二值掩膜转成骨架用欧氏距离变换算出骨架上每个像素到最近背景的距离距离乘以 2 就是局部的裂缝宽度像素值。from scipy import ndimage from skimage.morphology import skeletonize dist ndimage.distance_transform_edt(mask) # 每个像素到最近背景的距离 sk skeletonize(mask) # 提取中轴骨架 width_px 2 * dist[sk] # 骨架上每个点的局部宽度 avg_width_px width_px.mean() # 平均宽度单位像素 median_width_px np.median(width_px) # 中位数宽度抗噪更强这段代码的含义很直接裂缝可以看作一条在背景中挖出的细长通道通道中轴上的点到两侧边界的距离之和就是宽度。距离变换给出的是到最近背景的欧氏距离乘 2 就是完整宽度。骨架化默认按连通性处理掩膜断点多的要先做闭运算否则骨架会分裂宽度统计也会失真。5.4 像素当量标定与开工前检查像素当量的标定方法在墙面贴一张已知尺寸的标定纸与裂缝拍进同一张照片算出标定纸在图像里占据的像素数物理长度除以像素数就是毫米每像素。巡检距离不固定时把拍摄距离和像素当量做成对应表比硬编码一个常数可靠。开工前做一次快速自检就够了预测结果里单像素噪声比例是否低于 5%、细裂缝是否连续贯穿、宽度分布是否明显偏离人工抽检结果。把这三个阈值写进配置文件每次训练完自动打印跑三五轮后你就能一眼看出到底是哪一环出了问题。本文还有配套的精品资源点击获取