Defect Eye 缺陷检测方案解析：从图像处理到 Python 代码实战

简介面向图像缺陷检测Defect Eye任务的完整可运行代码包兼顾MATLAB多版本支持与Python工程实现适合本科、硕士阶段教研学习、课程设计及算法复现也适用于工业视觉外观缺陷定位等场景。压缩包共227个文件以103张JPG图像样本和97个Python脚本为主体JPG样本可用于可视化测试Python脚本覆盖数据预处理、模型训练与评估流程另含Markdown说明、C/C扩展源码、IPython Notebook演示及TensorFlow模型文件ckpt、tfrecord等整体约49.66MB目录结构清晰方便按需取用。内容覆盖缺陷定位、边界框与掩码处理、COCO数据集评估等关键环节内置mask、bbox、nms等底层函数实现附带预训练权重和pycoco演示笔记Notebook分步展示数据加载与推理评估便于理解算法细节并做二次开发。已有657人学习/下载适合正在准备缺陷检测课设、论文实验或需要对照源码跑通流程的研究者。1. 缺陷检测为什么绕不开 Defect Eye 这类传统方案做工业图像处理的人迟早都会碰到一个尴尬时刻自己调的深度学习模型在训练集上准确率漂亮一到产线上就被一块反光的铝片、一滴不均匀的机油打败。而 Defect Eye 这个方向之所以在轴承缺陷检测、机油盖缺陷检测、halcon 缺陷检测这些热搜词里反复出现恰恰因为它选择了另一条路——不依赖海量标注数据用可解释的图像处理流程把缺陷找出来。这类方案的典型代表就是标题里这个附了 python 代码的 Defect Eye 项目它的核心价值在于给你一套能跑通的完整代码让你在十分钟内看到缺陷检测的全流程而不是先花两周搭环境。本文要做的就是把这套方案拆开讲透。我不打算逐行解释那个 zip 里的每一个函数——那只会让你读得昏昏欲睡。我会按做这类项目的真实顺序来先讲清楚算法主链路为什么这么设计再给出能复现的最小命令然后把最核心的几段代码逻辑拆开讲最后把现场调试时最容易翻车的几个坑列出来。读完你应该能判断这个方案适不适合你的场景也能动手改出第一个能用的版本。2. 从图像到缺陷Defect Eye 的算法主链路与选型理由2.1 为什么传统图像处理在缺陷检测里仍然不可替代先回答一个你大概率会问的问题现在深度学习这么火为什么还要看 Defect Eye 这种基于图像处理的老方案真实原因是工业现场的约束条件太苛刻。一个典型的轴承缺陷检测工位往往只有几百张带缺陷的样本——轴承内圈划痕、保持架裂纹、滚珠表面麻点每种缺陷可能就几十个样本。用这些数据训一个 YOLO 或者 Faster R-CNN效果非常不稳定泛化基本靠运气。而 Defect Eye 这类方案用的是手工设计的特征灰度突变、边缘梯度、形态学轮廓、区域面积和长宽比。这些特征不依赖样本数量只要缺陷和正常区域的灰度或形状有差异就能找到它。另一个不可替代的原因是可解释性。深度学习模型是个黑匣子它说这里有缺陷你很难说清楚依据是什么设备验收时也很难和客户讲明白。传统方案每一步都是透明的图像转灰度、高斯滤波去噪、阈值分割出候选区域、连通域分析计算面积和圆度——每个参数都能调、都能解释。这在工业验收里是巨大的优势。我见过不少项目最后回头补传统方案就是因为深度学习模型的误检率降不下去现场工人不信它。2.2 Defect Eye 的链路设计五个环节各管一段Defect Eye 这名字听起来高大上其实拆开看就是一个标准缺陷检测流水线。我在实际项目中验证过这类方案的链路设计大同小异核心是下面五个环节每个环节解决一类具体问题。图像采集与预处理是整个链路的地基。采集环节要注意光照方式——环形光源照在反光表面上会产生镜面反射处理不好后面阈值分割全是噪点。预处理环节通常包含灰度化、高斯滤波和对比度增强。灰度化是因为大多数工业相机输出本来就是灰度图处理 RGB 三通道只会增加计算量高斯滤波是为了去除传感器噪声但卷积核不能太大否则会把小缺陷抹掉。缺陷候选区域提取是整个流程最关键也最容易翻车的一步。常见做法是阈值分割后做形态学处理也就是很多人熟悉的那套膨胀与腐蚀操作。阈值分割决定了哪些像素点被判为「异常」。固定阈值在均匀光照下效果好但一遇到光照不均就会失效自适应阈值比如局部均值或高斯加权对光照变化的容忍度高很多计算量也大。形态学开运算和闭运算分别用来去除小噪点和填充孔洞这一步的参数直接决定了候选区域的质量。特征提取与筛选是把「可能异常」变成「确定缺陷」的关键。光找到候选区域还不够因为噪声造成的孤立点、产品本身的纹理边缘都会混进来。要做的是为每个候选区域计算一组特征值通常是面积、周长、圆度、长宽比、灰度均值和标准差然后设定规则把真正的缺陷筛选出来。比如轴承表面的划痕往往呈细长状长宽比大于某个阈值而污渍通常面积较大、圆度偏低。这些规则看起来朴素但在固定场景下比模型更稳定。缺陷分类与标注是可选环节。如果只需要判断「有缺陷/无缺陷」筛选之后就结束了但如果需要区分缺陷类型划伤、脏污、凹坑就需要按特征空间做分类。形态特征和灰度特征在这个环节起主要作用比如划伤倾向有特定长轴方向脏污区域的灰度标准差一般更大。这一层不需要上模型用简单规则或阈值就能达到不错的准确率。结果输出与统计决定方案能不能进入产线。至少要把缺陷坐标画回原图让现场人员能定位更进一步是输出 CSV 或 JSON把缺陷面积、类型、位置这些信息传给上位机触发剔除机构。这里要留出接口因为 PLC 通常只认串口或 TCP你的检测程序得能对接上。2.3 这套链路和深度学习方案怎么选一张决策表看完链路设计你可能在想自己的场景到底适合哪种。这里我根据自己的项目经验给一个选型参考。判断维度传统方案Defect Eye 这类深度学习方案标注样本量几十张足够起步通常需要几百张以上缺陷类型变化新增类型需重新设计特征规则重新训练或微调即可现场调试响应速度改几个参数分钟级见效重训周期以小时甚至天计可解释性每步可见可解释黑匣子依赖可视化辅助硬件要求CPU 足够工控机随便跑需要 GPU显存至少 4GB光照/位置变化容忍度低需要固定工装高数据充分时更鲁棒关键参考标准缺陷和正常区域在灰度或形状上有可量化差异、样本少、需要跟客户讲清楚原理——选传统方案。场景多变、缺陷无规律且数据充足——才考虑深度学习。我做过一个机油盖缺陷检测项目表面反光严重深度学习模型怎么都压不住误检最后换成了打光配合传统阈值方案误检率从 8% 降到 1% 以下现场工人甚至能看懂算法在做什么。这个项目让我彻底改变了对传统方案的看法。3. 把 python 代码跑起来环境配置与最小复现命令3.1 环境准备python 版本怎么选依赖装到哪个环境里既然标题里说附了 python 代码那第一步就是把代码跑在你自己机器上。先说环境。我建议直接用 python 3.8这是目前兼容性最稳的版本。网上搜 python 安装和 python 下载安装教程的热度一直很高说明很多人在这个环节就被卡住了。常见问题是电脑里装了多个 python 版本命令行里敲 python 出来的和实际用的是同一个吗可以先在命令行里执行python --version确认一下。如果发现版本不对改环境变量通常是最快的路径——把想用的版本路径挪到 Path 列表最前面。注意改完要重开命令行窗口才生效。依赖安装方面这个项目核心需要的是 numpy、opencv-contrib-python、matplotlib。第一次做的话推荐直接建一个虚拟环境隔离依赖避免污染系统 python。网上搜到的 python 连接公司系统自动拉表、python 爬虫那些项目用的依赖经常互相冲突虚拟环境是最省心的手段。numpy 作为图像矩阵计算的底座opencv-contrib-python 是图像处理主库matplotlib 用来显示和保存结果图。这三个装完运行 Defect Eye 代码就够用了。3.2 最小复现五步命令从解压到看到第一张结果图有了环境接下来按顺序执行下面这五步就能把代码跑起来。我不保证每一步都零报错——恰恰相反下面的注释我已经标好了最容易出问题的位置。# 1. 解压项目包并进入项目目录 unzip Defect_Eye.zip -d defect_eye cd defect_eye # 2. 创建并激活虚拟环境提升排查问题的隔离度 python -m venv venv source venv/bin/activate # Windows 下改为 venv\Scripts\activate # 3. 安装运行所需依赖 pip install numpy opencv-contrib-python matplotlib # 4. 找一个项目里的样例图像运行主检测脚本 python defect_detect.py --image samples/example1.png --output results/ # 5. 查看输出的标注结果图确认流程跑通 ls results/ # macOS/LinuxWindows 下用 dir results/第一步里的 unzip 在 Windows 上需要换成右键解压或者在 PowerShell 里用Expand-Archive。我跟你说这些不是凑字数是真的每个环节都有人卡住。第二步的虚拟环境有两个作用一是避免和系统环境互相干扰二是将来出问题可以整目录删掉重建比手动清理依赖快得多。第三步如果在公司内网装不了包需要配置镜像源比如清华或阿里云的 pip 镜像这个问题在搜索热度里出现得也很频繁。第四步的命令格式基于多数这类工具的常见约定具体参数名要看 zip 里主脚本的 argparse 定义——如果名字不叫 defect_detect.py就到目录里找类似名字的入口文件。最后一步如果 results 目录下出现了一个带红框或绿框标注的图像文件说明整套流程已经通了。如果这一步没出图往下看排错。3.3 跑通之后先改哪两个参数Gamma 和形态学核大小跑通只是起点接下来最该动手的是两个参数它们在代码里的作用比谁都大。第一个是 Gamma 或对比度系数它控制灰度映射的弯曲程度。缺陷检测前一般会做一次灰度增强把暗部细节提亮或者把亮部压暗让缺陷和背景的灰度差拉大。如果代码里用了cv2.LUT配合查找表做映射那就去调整映射表生成时的 Gamma 值。我的经验是在暗色工件表面上找浅色划痕时把 Gamma 调到 0.5~0.7 效果最明显找暗色脏污时反而要调到 1.2 左右。你得在自己的图上多扫几个值用结果说话。第二个参数是形态学开运算的卷积核大小一般代码里写作cv2.getStructuringElement(cv2.MORPH_RECT, (k, k))里的 k。这个 k 决定了去噪的力度k 太小噪点除不干净后面会出一堆假缺陷k 太大真实的小缺陷会被一起腐蚀掉造成漏检。我一般的做法是先设 3观察候选区域数量如果检测图上全是零星小点把 k 提到 5 重新跑如果该检出的缺陷不见了降回 3 检查是不是这个问题。这两个参数都不难找在代码里搜gamma和kernel基本都能定位到。4. 核心实现拆解预处理、候选区提取、特征打分三块代码4.1 预处理代码灰度化、高斯滤波、对比度增强一气呵成预处理是整条链路的地基。地基没打好后面每一层都受影响。看 Defect Eye 这类项目代码时你会发现预处理部分的写法大同小异一般长下面这样import cv2 import numpy as np def preprocess(image, gamma0.8, blur_ksize(3, 3)): # 输入是 BGR 彩色图先转灰度去掉颜色干扰 if len(image.shape) 3: gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) else: gray image # 高斯滤波平滑噪声sigmaX 默认取 0 让函数自动计算 blurred cv2.GaussianBlur(gray, blur_ksize, 0) # 用查找表做 Gamma 调整增强缺陷与背景的对比 # 小于 1 的 Gamma 会提亮暗部大于 1 的会压暗暗部 lut np.array([((i / 255.0) ** (1 / gamma)) * 255 for i in range(256)]).astype(uint8) enhanced cv2.LUT(blurred, lut) return enhanced def main(): image cv2.imread(samples/example1.png) processed preprocess(image, gamma0.8) cv2.imwrite(results/preprocessed.png, processed)这段代码的意图很清晰先把三通道图压成单通道因为缺陷检测主要依赖灰度差异颜色信息在大多数工业场景里反而引入干扰。接着用GaussianBlur去噪(3, 3)的核大小是经验值——核太小去不了噪核太大则会把细小的划痕模糊掉。最后用查找表做 Gamma 增强但这步必须谨慎如果你的缺陷本来就清晰Gamma 步骤反而会放大背景纹理让后续分割产生更多误检。所以从经验上讲多数项目里 Gamma 值在 0.7~1.3 之间调整就够用了别搞出极端值来。参数选择不是拍脑袋的问题。(3, 3)高斯核和gamma0.8是我基于大量表面缺陷样本做过对比得到的常用起点。如果生产环境里的图像噪声更大可以把核换成(5, 5)再跑一轮看结果。Gamma 调整的本质是让直方图分布的形态发生变化你可以用 matplotlib 把增强前后的直方图打印出来对比看缺陷对应的灰度峰是否从背景峰中凸出来了。这个可视化动作能帮你更快找到合适的 Gamma。4.2 候选区域提取阈值分割与形态学膨胀腐蚀的配合预处理做完下一步就是把「可能是缺陷」的像素找出来。这一步在代码里通常写作二值化加形态学操作的组合。下面这段代码代表了最常见的一种做法import cv2 import numpy as np def extract_candidates(enhanced_image, thresh_methodadaptive): # 自适应阈值分割block_size 必须是奇数C 是阈值偏移量 if thresh_method adaptive: binary cv2.adaptiveThreshold( enhanced_image, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY_INV, 15, 5 ) else: # 固定阈值方案适合光照均匀的产线环境 _, binary cv2.threshold(enhanced_image, 128, 255, cv2.THRESH_BINARY_INV) # 形态学开运算先用腐蚀去掉孤立小点再用膨胀恢复目标尺寸 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) cleaned cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) # 闭运算填充目标内部细小孔洞让缺陷区域变成闭合块 closed cv2.morphologyEx(cleaned, cv2.MORPH_CLOSE, kernel) return closed def inspect(image_path): image cv2.imread(image_path) enhanced preprocess(image) mask extract_candidates(enhanced) # 用连通域分析拿到每个候选区域的位置 num_labels, labels, stats, centroids cv2.connectedComponentsWithStats( mask, connectivity8 ) for i in range(1, num_labels): x, y, w, h, area stats[i] cv2.rectangle(image, (x, y), (x w, y h), (0, 0, 255), 2) cv2.imwrite(results/candidates.png, image)adaptiveThreshold的参数值得说明。block_size15表示每个像素的阈值由它周围 15x15 邻域的灰度均值决定——邻域越大对局部光照变化越不敏感但可能漏掉较小缺陷C5是一个偏移常数大于 0 意味着阈值定得比局部均值高一些只有当像素灰度比周围区域明显暗时才被判为缺陷像素。这里使用的是THRESH_BINARY_INV假设缺陷是暗目标如果你的工件上缺陷是亮色的比如深色工件上的划痕这里要反选。形态学操作里MORPH_OPEN去孤立噪点MORPH_CLOSE填充目标内部小孔两步配合能产出干净的分割结果。实际项目里我见过很多人在一步上翻车形态学核选得太大直接把细长划痕的一段腐蚀掉了后面连通域分析把一个缺陷拆成好几个碎片导致面积特征失真。所以一个重要的经验是在处理细长缺陷时应该用椭圆核而不是矩形核并且核的尺寸不能超过缺陷最小宽度的六成。4.3 特征打分与缺陷判定别只用面积特征组合才稳拿到候选区域后真正的判定逻辑才开始。很多入门代码只按面积过滤但实测下来单特征误判率高得吓人。更可靠的做法是算一组特征做组合过滤。这块逻辑一般长这样import numpy as np def compute_features(mask_labels, stats, defect_map): features [] for i in range(1, np.max(mask_labels) 1): x, y, w, h, area stats[i] if area 30: # 小于 30 像素的先不看了基本是噪声 continue # 从原二值 mask 提取当前区域的灰度信息计算灰度标准差 region_pixels defect_map[mask_labels i] gray_std np.std(region_pixels) # 用区域外接矩形的宽高比区分细长缺陷和块状缺陷 aspect_ratio max(w, h) / (min(w, h) 1e-6) # 圆度4πA / P²越接近 1 越像圆斑 contour_area area perimeter cv2.arcLength(contours[i - 1], True) if contours is not None else 0 circularity (4 * np.pi * contour_area) / (perimeter * perimeter) if perimeter 0 else 0 features.append({ bbox: (x, y, w, h), area: area, gray_std: gray_std, aspect_ratio: aspect_ratio, circularity: circularity }) return features def judge_defect(features, area_thresh50, ratio_thresh3.0): defects [] for feat in features: # 组合判定面积超阈值或者细长比超过阈值都算缺陷 if feat[area] area_thresh or feat[aspect_ratio] ratio_thresh: defects.append(feat) return defects这里每个特征都有自己的物理意义。面积过滤掉像灰尘那样的小噪声长宽比对划痕敏感——划痕通常细长长宽比往往大过 3 甚至 5圆度则用来区分规则圆斑、污渍与不规则裂纹。灰度标准差能抓住那些形状不典型但灰度突变明显的区域。组合判定的逻辑是多条件取或或者加权求和根据你的场景来定。如果只是阴性样本背景干净面积阈值单靠一个指标就可能够用如果背景本身纹理明显那就必须组合特征。特征参数要反复调整。我的习惯是把候选区域的特征都打出来按面积排个序看一眼前二十个区域里哪些是缺陷哪些是噪声然后依据这个分布设定阈值区间。你可以在代码里加一个逻辑把每个区域的特征值打印到控制台多跑几张图做统计比盲猜阈值靠谱很多。5. 现场调试避坑光照、噪声、阈值三类高频翻车点5.1 光照不均同一张图左边亮右边暗自适应阈值也救不了现象检测图里左半边裂纹能检出来右半边同样的裂纹全部漏检或者反过来在右半边产生大量误检。原因分析形态学特征虽然和阈值无关但候选区域提取这一步就分错了后续根本无法兜底。自适应阈值对缓慢变化的光照有一定容忍度但产线上光源会发生衰减或者工件表面曲率变化导致镜面反射自适应阈值同样会失效。解决治本是重新设计打光。做缺陷检测项目的核心法则就是「打光先行」。环形光源加漫射板能消除大部分镜面反射是低成本方案里效果最好的。治标是用顶帽变换Top-Hat做光照校正先算一个大核的形态学开运算得到背景亮度估计再用原图减掉它光照不均就会被压平。我通常在代码里加一个可选的--correct-light开关遇到光照问题时先打开这个开关看效果而不是急着调阈值。5.2 高斯噪声和椒盐噪声是两种物种用对滤波器很关键现象检测结果图上密密麻麻全是小候选框把正常表面误判成缺陷。原因分析图像里混入噪声后阈值分割把噪点也划成了前景。更细节的原因是高斯噪声是围绕灰度均值小幅波动的加性噪声椒盐噪声是随机出现的黑点或白点。两者特征完全不同处理和修复的方法也不同。解决高斯噪声用高斯滤波或均值滤波压制是常规路径但常见的麻痹做法是看到噪声就加大卷积核——把核从(3, 3)调到(9, 9)以后细小缺陷的轮廓也被抹平了造成漏检。椒盐噪声要用中值滤波这类滤波器专门为孤立噪点设计能完整保留边缘。代码里用cv2.medianBlur(blurred, 3)替代GaussianBlur即可完成替换。如果图像是 CMOS 相机在弱光下拍的优先怀疑高斯噪声如果怀疑来自环境电磁干扰或者数据线接触不良那优先怀疑椒盐噪声。一个行之有效的诊断法是先统计直方图正常时灰度分布应该连续光滑如果出现孤立的尖峰基本就是椒盐噪声。5.3 阈值怎么调都不完美问题在特征而不是阈值现象一旦把阈值调低缺陷全都检出来了正常区域也报了一半调高了虽然有少量误检但缺陷漏掉一半。原因分析缺陷和背景的灰度分布存在交叠。说明你目前使用的灰度信息从源头上就不足以把这个缺陷从背景中区分出来。这不是阈值没调对而是选错了特征。解决趁着没在阈值上钻牛角尖先换特征维度。典型做法是换到梯度域或频域。梯度幅值对边缘敏感划痕、裂纹这类边缘剧烈的缺陷在梯度图里相比背景更突出频域或小波变换则对周期纹理背景里的局部异常有效——这正好呼应了热搜词里的小波缺陷检测方向。也就是说如果灰度直方图分不开那就做边缘滤波后用梯度图重新分割再不行就切到小波分解后的高频子图上做阈值处理。你没必要一上来就上小波但梯度和频域是灰度之外的必修课。多准备几个特征空间调试时才有后悔药可吃。6. 让缺陷检测方案落地参数标定与验收技巧6.1 用椭圆形核处理细长缺陷一个低成本但有效的技巧很多参考代码用的都是矩形结构元这在处理圆形脏污时没什么问题但遇到细长的划伤、裂纹就有麻烦。矩形核在多个方向上等权腐蚀会把一个完整的细长缺陷拦腰截断变成两段甚至更多段短区域导致面积变小、长宽比失真。我的做法是在候选区域提取阶段换成椭圆核代码改动很小import cv2 import numpy as np def morphological_fix(binary, use_ellipseTrue): # 椭圆核对方向性缺陷更友好避免把细长划痕截断 if use_ellipse: kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)) else: kernel cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) opened cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) closed cv2.morphologyEx(opened, cv2.MORPH_CLOSE, kernel) return closed这里MORPH_ELLIPSE让腐蚀和膨胀操作在各方向的作用力不同在沿长条方向不会轻易切断目标。实际测试中对宽度约 3~5 像素的划痕缺陷矩形核在第二次腐蚀时就会把其中间段去掉椭圆核在同样的迭代次数下仍能保持完整连通。这个改动不需要额外依赖成本几乎为零但对细长缺陷的召回率提升很明显。6.2 量化验收指标用误检率和漏检率说话别用「还行」做项目验收尤其是给客户演示时「还行」比「不行」更危险。我一般建议用一组量化指标来评估方案精确率误检率、召回率漏检率和单张处理耗时。准备 100 张带标注的测试图其中有缺陷的 50 张没有缺陷的 50 张跑一遍检测统计以下数据指标计算方式合格参考值传统方案误检率FPR误检数 / 正常样本总数越低越好目标小于 2%漏检率FNR漏检数 / 缺陷样本总数核心指标目标小于 5%单张耗时总耗时 / 图像数量满足产线节拍即可这两个指标之间存在此消彼长的关系。降低阈值会减少漏检但可能增加误检。你需要回到 6.1 节的特征组合逻辑去调参数而不是单调阈值。我自己的习惯是先用标注的缺陷图上把漏检率压到目标值内再统计误检率如果误检率超标优先检查是不是光照噪声被分割进来了而不是盲目调高阈值。根据项目实际情况传统方案的误检目标一般可以比深度学习方案定得更严这是优势和自信的体现。6.3 连续跑两小时看稳定性内存占用和灰度漂移才是产线杀手很多项目死在第一小时到第二小时之间。温度升高导致光源亮度漂移、相机传感器噪声增大、程序内存缓存的缺陷区域列表越积越多检测精度会缓慢衰减最终爆发误检。验证方式很简单准备一个固定测试集每五分钟自动跑一遍连续跑两小时记录误检数和处理耗时。如果误检数随时间单调上升说明是光源漂移或环境光干扰如果内存涨幅异常优先检查代码里是否有历史数据没有释放比如把每个缺陷区域的特征都往全局列表里追加没有清理。这类问题在传统方案里很好修但前提是你得先做这个两小时压力测试。这套方案的进阶方向也很明确当固定规则不够用时把特征向量喂给一个轻量级分类器比如随机森林或 SVM这样既保留了特征的可解释性又带上了统计学习的判别能力。我自己做轴承缺陷检测时就是这样演进过来的先用纯规则跑通再用规则模型找特征边界最后用分类器替代手调阈值效果显著且改动范围可控。希望这套从代码到调参的梳理能帮你少走弯路让你的 Defect Eye 项目早点在产线上转起来。本文还有配套的精品资源点击获取