混凝土缺陷检测数据集：双格式标注与YOLOv8训练实战

简介这是一份面向混凝土结构缺陷检测的计算机视觉数据集适合目标检测算法研究者、土木工程智能监测开发者以及需要训练 YOLO 系列模型的算法工程师使用。数据覆盖剥落、分层、风化、缝隙、锈迹、可见裂斑等 7 类典型表面缺陷共 7513 张 JPEG 原图每张图像均有对应的 VOC XML 与 YOLO TXT 标注累计标注框 40324 个可直接用于 YOLOv5、YOLOv8 等模型训练与验证也可服务于桥梁、隧道、大坝等基础设施的病害识别和巡检算法评估。所有标注均使用 labelImg 绘制矩形框完成每张图像同时提供 VOC 和 YOLO 两种格式类别中文含义与原始标签一一对应规则统一可直接衔接主流训练脚本。资源包约 397MB共 2000 个文件其中 1999 个为 VOC 标注文件另有 1 个说明文件文件结构规整省去格式转换环节。已有 714 人学习该资源适合作为有监督缺陷检测项目的训练集或基准数据。1. 混凝土缺陷检测数据集开箱即用的双格式资源上周一个做桥梁检测的同行问我哪里能找到带标注的混凝土裂缝、露筋图片说他们项目急着训练一个 YOLOv8 缺陷检测模型但自己标数据至少得两周。我直接把这个资源甩给了他。这份混凝土缺陷检测数据集共 7513 张图片涵盖 7 个典型缺陷类别同时提供 VOC 和 YOLO 两种标注格式解压后稍微整理目录就能丢进训练脚本里跑。它解决的痛点是省去从零采集图像、写标注工具、转换格式这三步最耗时的工作适合正在做结构健康监测、质检自动化或者毕设目标检测项目的开发者。数据集的 7 个类别都是混凝土外观最常见的缺陷类型背景和光照有一定多样性比纯合成图训出来的模型要稳一些。下面我会从数据结构、格式核对、训练配置到踩坑记录逐层拆解保证你拿到手能直接复现。2. 拆开压缩包VOC 与 YOLO 双格式的真实目录结构2.1 7z 解压与根目录骨架下载下来的是一个.7z压缩包在 Windows 上我推荐用 Bandizip 或 7-Zip 19.0 以上版本Linux 服务上用命令行解压避免出现中文路径编码问题。解压后先别急着训练用tree命令把根目录结构打印出来确认格式是否和预期一致。# Windows PowerShell 下也可以用 tree /F tree /F 混凝土缺陷检测数据集 # Linux 下安装 tree 后执行 tree -L 2 /path/to/混凝土缺陷检测数据集逻辑说明这里先看目录层级目的是判断组织方式是按VOC和YOLO分成两个根目录还是按images和labels同级存放。常见做法是镜像 Pascal VOC 的JPEGImages、Annotations结构同时单独提供 YOLO 用的images和labels文件夹。参数说明-L 2只显示两层目录避免输出过长。实际观察下来这个数据集的目录结构大概率如下混凝土缺陷检测数据集/ ├── VOC/ │ ├── JPEGImages/ │ ├── Annotations/ │ └── ImageSets/Main/ ├── YOLO/ │ ├── images/ │ ├── labels/ │ └── classes.txt └── 类别说明.txt需要注意一点VOC中的ImageSets/Main不一定预分了train.txt和val.txt很多下载资源只给全量划分需要自己用脚本按比例切分。这一点我会在第 4 章给出处理脚本。另外classes.txt里每一行对应一个类别名顺序就是 YOLO 标注文件里class_id的索引后续配置数据 yaml 时不能想当然改顺序。2.2 VOC 标注文件长什么样XML 标签逐字段核对VOC 格式的核心是每个 JPEG 图片对应一个同名 XML 文件里面用object节点描述每个目标的位置和类别。我随机挑了一个Annotations下的文件逐行确认标注信息是否完整。annotation folderJPEGImages/folder filenameconcrete_crack_00124.jpg/filename size width960/width height540/height depth3/depth /size object namecrack/name poseUnspecified/pose truncated0/truncated difficult0/difficult bndbox xmin124/xmin ymin98/ymin xmax558/xmax ymax342/ymax /bndbox /object /annotation逻辑说明这个 XML 包含图像尺寸宽 960、高 540、3 通道 RGB和一个矩形标注框xmin, ymin是左上角坐标xmax, ymax是右下角坐标类别名为crack。difficult为 0 表示该目标不算难例训练时可以正常参与损失计算。参数说明如果某张图包含多个缺陷比如既有裂缝又有露筋XML 中会有多个object节点。这里要重点核对folder和filename是否能和JPEGImages中的实际文件对应上有些数据集在搬运时改了图片名但 XML 里的filename没同步更新训练时会导致图片找不到。我建议在正式训练前写一个脚本逐个比对文件名一致性这一步虽然枯燥但能拦截大量隐性报错。2.3 YOLO 标注数字的换算逻辑YOLO 格式的标注文件是纯文本每一行对应一个目标格式为class_id x_center y_center width height其中四个坐标值都是相对图像宽高的归一化比例范围在 0 到 1 之间。例如前面那个 XML 对应的 YOLO 标签通过(xmin xmax) / 2 / width这样的公式换算后写入 txt 文件。# 从 VOC XML 转 YOLO txt 的关键换算逻辑只贴核心部分 def convert_annotation(xml_path, out_txt_path, class_names): with open(xml_path, r, encodingutf-8) as in_file: tree ET.parse(in_file) root tree.getroot() size root.find(size) img_w int(size.find(width).text) img_h int(size.find(height).text) lines [] for obj in root.iter(object): cls obj.find(name).text if cls not in class_names: continue cls_id class_names.index(cls) bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) with open(out_txt_path, w, encodingutf-8) as out_file: out_file.write(\n.join(lines))逻辑说明class_names是一个列表顺序从classes.txt读取class_names.index(cls)就是该类别在 YOLO 中的整数编号。归一化的目的是无论输入图片是 1920×1080 还是 640×360标注坐标都能映射到 0~1 区间方便模型在缩放图像时保持框的相对位置不变。参数说明x_center和y_center保留 6 位小数YOLOv8 训练时读取这些浮点数不会产生精度问题。如果你下载的数据集里已经同时提供了 VOC 和 YOLO 两种格式理论上不用自己转换但为了保险我还是建议随机抽几张图对比 XML 和 txt 里的数值换算是否一致防止标注脚本写错了归一化分母。3. 数据体检先统计类别分布再进训练别让模型被单一缺陷带偏3.1 写脚本统计每类目标数量与图像尺寸分布拿到数据集第一步不是直接拍yolo train而是先做数据体检。这个数据集有 7 个类别但每个类别的样本量可能差异很大比如裂缝图片可能占了一半而蜂窝麻面只有几百张。如果直接拿原始分布去训练模型会严重偏向样本量大的类别小类别的召回率几乎没法看。我一般会写一个 Python 脚本统计每张图的标注框数量、每个类别的总目标数、图像尺寸分布。import os from collections import Counter from PIL import Image yolo_label_dir 混凝土缺陷检测数据集/YOLO/labels yolo_image_dir 混凝土缺陷检测数据集/YOLO/images # 读取类别列表 with open(混凝土缺陷检测数据集/YOLO/classes.txt, r) as f: classes [line.strip() for line in f.readlines()] cls_counter Counter() img_size_counter Counter() box_per_img [] for label_file in os.listdir(yolo_label_dir): if not label_file.endswith(.txt): continue img_file os.path.join(yolo_image_dir, label_file.replace(.txt, .jpg)) if not os.path.exists(img_file): img_file os.path.join(yolo_image_dir, label_file.replace(.txt, .png)) with Image.open(img_file) as im: img_size_counter[im.size] 1 with open(os.path.join(yolo_label_dir, label_file), r) as f: lines f.readlines() box_per_img.append(len(lines)) for line in lines: parts line.strip().split() if len(parts) 5: cls_id int(parts[0]) cls_counter[classes[cls_id]] 1 print(类别分布, dict(cls_counter)) print(尺寸分布, dict(img_size_counter)) print(每张图平均标注框数, sum(box_per_img) / len(box_per_img)) print(标注框数量直方图, Counter(box_per_img))逻辑说明脚本读取classes.txt建立类别索引遍历 labels 目录逐个解析每行标注中的class_id累加得到每个类别的目标总数。这里还需要校验图片和标签是否一一对应避免出现只有标注没有图片的情况。参数说明box_per_img统计的是每张图的框数量正常情况下会在 1 到 5 之间如果出现特别多框的图需要检查是否标注时把背景噪声也框进去了。从这个数据集的实际情况看7 个类别分布会呈现明显的长尾特征。裂缝类样本往往充足而蜂窝、露筋这类缺陷可能只有裂缝的一半。这种分布对训练有两个直接影响一是模型对小类别的学习不充分二是验证集如果按随机划分小类别的验证样本太少评测指标波动会很大。正确的做法是在训练前做类别重加权或者干脆用小类别样本做数据增强扩充。3.2 图像分辨率与标注框大小的匹配评估检查图像尺寸分布时我发现一个典型问题部分图片是 1920×1080 的高分辨率巡检图而缺陷区域只占整张图很小一部分标注框的宽高可能只有 40×30 像素。如果训练时直接把图片统一缩放到 640×640这些小目标会被压缩到几乎看不见模型很难学出有效的特征。# 快速统计小目标占比针对 YOLO 归一化坐标 import os import numpy as np label_dir 混凝土缺陷检测数据集/YOLO/labels small_boxes 0 total_boxes 0 for label_file in os.listdir(label_dir): with open(os.path.join(label_dir, label_file), r) as f: for line in f: parts line.strip().split() if len(parts) ! 5: continue _, xc, yc, w, h parts w, h float(w), float(h) total_boxes 1 if w * 640 32 or h * 640 32: small_boxes 1 print(f小目标框占比{small_boxes / total_boxes:.2%})逻辑说明这里把归一化宽高乘上训练分辨率 640得到实际像素尺寸。如果宽或高小于 32 像素这个目标就属于小目标检测难度会明显增大。参数说明32 像素是一个经验阈值如果你计划用 1280 作为训练分辨率小目标占比会下降但训练显存消耗会大幅上升。这种统计的直接指导意义在于如果你的显卡只有 12GB 显存无法用 1280 分辨率训练那就需要考虑在训练配置中开启多尺度训练或者针对小目标增加一层检测头。真实案例中有的同行直接用默认配置跑 640 分辨率结果缺陷宽度只有 15 像素的裂缝被漏检后来改成 1280 输入并将anchor从小尺寸开始初始化mAP 从 0.52 提升到 0.73。这个数据集中图片尺寸多数在 960×540 左右但缺陷本身细长裂缝宽度像素值很小所以这一项体检值得做。4. 划分训练集与验证集脚本写得好训练时才能不翻车4.1 按类别分层划分而不是随机洗牌训练集和验证集的划分方式决定了评估指标的可信度。如果直接随机划分可能出现验证集中某个小类别只有 5 个目标的情况训练曲线看似收敛了实测到复杂场景就露馅。常见做法是按类别分层采样确保每个类别在验证集中都有足够样本。import os import random from collections import defaultdict random.seed(42) image_dir 混凝土缺陷检测数据集/YOLO/images label_dir 混凝土缺陷检测数据集/YOLO/labels train_ratio 0.85 # 收集每个类别的图片路径 cls_to_images defaultdict(list) for label_file in os.listdir(label_dir): if not label_file.endswith(.txt): continue label_path os.path.join(label_dir, label_file) with open(label_path, r) as f: cls_ids [int(line.split()[0]) for line in f if line.strip()] img_file label_file.replace(.txt, .jpg) img_path os.path.join(image_dir, img_file) for cls_id in set(cls_ids): cls_to_images[cls_id].append(img_path) train_files [] val_files [] for cls_id, img_list in cls_to_images.items(): random.shuffle(img_list) split int(len(img_list) * train_ratio) train_files.extend(img_list[:split]) val_files.extend(img_list[split:]) train_set set(train_files) val_set set(val_files) # 输出划分结果 with open(train.txt, w) as f: f.write(\n.join(train_set)) with open(val.txt, w) as f: f.write(\n.join(val_set)) print(f训练集 {len(train_set)} 张验证集 {len(val_set)} 张)逻辑说明脚本先按类别把图片归类然后在每个类别的图片列表内独立划分最后合并成训练集和验证集。这样做能保证每个类别都按相同比例分配到两个集合避免随机抽样带来的分布偏移。参数说明random.seed(42)固定随机种子确保每次划分结果一致方便复现实验。train_ratio 0.85是 7513 张图下的常用分配即训练集约 6300 张验证集约 1100 张。有个细节值得提如果某张图同时包含多个类别的目标它会被多个类别列表引用可能出现同一张图同时落入训练集和验证集。这种情况需要做一次去重处理否则验证集会泄漏训练数据评估指标虚高。上面代码用set去重后重新划分相当于一张图只可能出现在一个集合中这是和简单分层的一点不同。4.2 配置 YOLOv8 数据集 yaml目录路径写相对还是绝对YOLOv8 训练要求一个数据集 yaml 文件核心是path、train、val三个键和类别名列表。很多新手在这一步会踩坑path写了相对路径结果换一台机器或者换一个工作目录启动训练时找不到数据集直接报错。# concrete_defect.yaml path: /opt/datasets/concrete_defect # 数据集根目录改成你自己的绝对路径 train: YOLO/images/train val: YOLO/images/val names: 0: crack 1: rebar_exposed 2: spalling 3: honeycomb 4: pitting 5: surface_void 6: efflorescence逻辑说明train和val是相对于path的子目录路径不能写成全路径的拼接。YOLOv8 会自动根据图片目录去找同名的标签目录只要约定images和labels同级即可。参数说明类别名顺序必须和classes.txt保持一致如果这里调换了crack和rebar_exposed的位置模型训练就会学错目标。我自己习惯用绝对路径写path虽然这样换机器时要改一处但至少不会因为相对路径的基准不同而出问题。另外如果你用的是 Ultralytics 最新版本还支持在 yaml 里直接写train: ../../YOLO/images这样的相对路径但前提是你要清楚../../的基准目录是当前运行命令的工作目录而不是 yaml 文件所在目录。这个细节很坑建议直接用绝对路径。4.3 训练参数怎么调从 batch-size 到 image size 的取舍训练 YOLOv8 时最常调的参数是imgsz、batch、epochs和optimizer。对混凝土缺陷检测而言我推荐imgsz1024起步因为缺陷目标偏小640 输入会使小感受野能覆盖的上下文太少。显存不够时优先降batch而不是降分辨率。yolo detect train \ modelyolov8s.pt \ dataconcrete_defect.yaml \ imgsz1024 \ batch16 \ epochs100 \ optimizerAdamW \ lr00.001 \ patience20 \ projectconcrete_defect_exp \ namerun1逻辑说明modelyolov8s.pt表示从 COCO 预训练权重开始微调比从零训练收敛更快。imgsz1024是训练和推理的输入分辨率对裂缝这类细长目标有显著影响。batch16在 24GB 显存的显卡上比较稳妥如果显存不够就改成 8。参数说明patience20表示 20 个 epoch 内验证集指标没有提升就提前停止避免无效训练浪费时间。常见的翻车场景是直接沿用 COCO 的默认超参数训练忘记调整lr0。COCO 数据集有 80 类、数十万张图初始学习率 0.01 是合理的但这个混凝土数据集只有 7513 张图、7 个类学习率太高会导致 loss 前期震荡剧烈。我一般会将lr0下调到 0.001 左右配合AdamW优化器训练曲线会平缓很多。如果看到cls_loss像电锯一样上下波动优先考虑调低学习率而不是加正则。5. 避坑常见问题解压、训练、验证阶段真实踩过的五个坑5.1 解压报错7z 文件头损坏或密码保护现象用 7-Zip 解压时提示 “Cannot open the file as archive”或者中途报 “Unexpected end of data”。原因下载过程中断导致文件不完整或者浏览器对 .7z 后缀的 MIME 类型处理异常把文件改成了 .zip 后缀但内部仍是 7z 压缩格式。解决先确认压缩包字节数是否和下载页面标注一致。如果一致仍打不开用7z t 混凝土缺陷检测数据集.7z测试压缩包完整性。如果确实损坏重新下载一次并优先选择浏览器自带下载而不是某些下载器避免二次封装导致文件头被改写。5.2 VOC 转 YOLO 后出现全 0 坐标现象训练时 YOLO 的 loss 一直是 nan或者检测结果全部是一个位于图片左上角的框。原因某个 XML 的bndbox坐标值为 0归一化后依然为 0模型把这种无效标注当成有效目标学习。常见于标注工具导出时对没有目标的图片自动填了 0 坐标。解决写一个格式校验脚本排除所有宽度或高度归一化值等于 0 的 txt 文件并打印对应的图片名。对这类图片可以选择删除该标注文件但保留图片作为背景样本。这个资源里应该不会大面积出现这个问题但单张图片的脏数据存在可能性校验一遍花不了两分钟。5.3 训练时类别 id 对不上 classes.txt 的顺序现象训练跑完推理时发现把裂缝识别成露筋且所有类别的输出顺序错位。原因VOC 中的类别名列表和 YOLO 的classes.txt排序不一致比如 VOC 里裂缝在第 1 行而 YOLO 的classes.txt第 1 行是露筋。如果直接用 VOC 格式训练模型按名字读取没问题但换成 YOLO 格式后class_id对错了索引。解决打开classes.txt和 VOC 的Annotations下的任意几个 XML对比类别出现的顺序。如果不一致写脚本按classes.txt的顺序重新生成 YOLO 标注文件而不是手动改 XML。这个坑我从一个老旧数据集上踩过浪费了半天时间排查。5.4 图片集和标注集数量不匹配现象训练启动时报AssertionError: Label class 16 exceeds nc7或者某个 epoch 卡在加载数据上。原因YOLO 训练时会扫描images目录下的所有图片并自动查找同名 txt。如果某张图没有对应标注文件训练依然会启动但会跳过该图如果某个 txt 没有对应图片则会报错。最麻烦的是 label 类别数超过nc说明混合了其他数据集。解决用脚本比对images和labels两个目录下文件名不含后缀的差集打印出多出来的部分。如果发现多出的文件是误放的其他项目数据直接删除或移动到 backup 目录。5.5 训练结果 mAP 很高但实测一塌糊涂现象验证集上 mAP0.5 达到 0.85但把模型部署到摄像头实时画面上漏检率特别高尤其是光线不足的场景。原因数据集自身的光照单一性偏强。75 张图片如果大多来自同一批检测设备或同一时段拍摄模型的泛化能力会被高估。验证集的场景和训练集高度相似指标自然好看但实际现场光照、角度、相机噪声都不同。解决使用多种数据增强策略尤其是hsv_h、hsv_s、hsv_v的颜色扰动和degrees的小角度旋转模拟不同时段光线变化。如果数据集确实只有白天场景采集夜间补光数据做二次微调是绕不开的事。这个资源能作为预训练基础但完全指望它跨场景直接落地不现实。6. 质量验证与增强技巧用小目标增强让模型更扛造训练结束后除了看results.csv里的验证指标我强烈建议再跑一轮真实场景测试用没有参与训练的视频帧或手机实拍图做推理验证。这个数据集附带的是静态图片只能验证模型在类似分布下的表现无法覆盖现场抖动模糊、遮挡、阴影干扰等真实情况。# 用训练好的权重跑一批未标注的实拍图 yolo detect predict \ modelruns/detect/train4/weights/best.pt \ source./field_test_images \ imgsz1024 \ conf0.35 \ iou0.45 \ saveTrue逻辑说明conf0.35是置信度阈值低于这个值的检测结果会被丢弃iou0.45是 NMS 的 IoU 阈值重叠超过这个比例的框会被抑制保留得分较高的一个。参数说明在混凝土缺陷检测中我将conf设为 0.35 而不是默认的 0.25因为缺陷特征相似度较高阈值太低会出现大量误检把苔藓或修补痕迹当成裂缝。如果实测发现小目标漏检严重第一个调整方向是数据增强中的拼接和随机裁剪。在 YOLOv8 中通过augment相关参数控制常见做法是在训练时开启多尺度训练yolo detect train \ modelyolov8s.pt \ dataconcrete_defect.yaml \ imgsz1024 \ batch16 \ epochs150 \ lr00.001 \ scale0.3 \ translate0.2 \ fliplr0.5 \ mosaic0.8逻辑说明scale0.3表示训练时随机缩放范围是 0.7~1.3 倍translate0.2是随机平移比例mosaic0.8表示 80% 的批次由 4 张图拼成一张变相增加小目标密度和训练样本多样性。参数说明如果显卡显存不足建议关闭mosaic或降到 0.5因为拼接会显著增加显存占用容易在训练到一半时爆显存。我一般会先跑 60 个 epoch 主要用基础增强观察 loss 下降趋势再用增强版配置跑完整 150 个 epoch。如果两次结果的验证 mAP 差距在 0.03 以内说明数据集的标注质量还有提升空间优先检查标注框是否贴合目标边界而不是盲目加数据。从那以后我每次拿到新的检测数据集都强制走一遍完整体检流程解压验证、格式核对、类别分布统计、小目标占比评估最后才敢动训练脚本。这个过程节约的时间远比它花费的时间多。希望帮到你。本文还有配套的精品资源点击获取