工业AI检测落地指南：从模型选型到部署实战

做这场直播之前我其实一直在想一个问题工业AI喊了这么多年真正赚钱、真正上量、真正让工厂愿意掏钱的场景到底是什么。聊下来几乎所有人的答案都指向同一个方向——检测。尤其是“工业AI检测”和“服装检测”这种细分场景几乎成了工业AI落地最密集的入口。直播间里有个朋友问得很实在这种AI到底用的是云联网还是单机AI又是用什么大模型才够用。这问题看着基础但确实是很多想入局的人第一个卡住的地方。这篇回顾我就把这几年跑工厂、做项目、踩坑攒下来的东西摊开讲清楚从部署架构、模型选型到实际落地流程给想做工业AI或者正在做检测项目的朋友一个完整参考。1. 工业AI的下一个机会得先看懂“检测”这个入口1.1 为什么产业AI的爆发点偏偏是质检制造业里所有环节质检是痛点最透明、ROI最容易算清楚的一个。一条服装产线上人工质检员一天要看几千件衣服盯着有没有污渍、破洞、跳针、线头。人一定会疲劳疲劳就一定会有漏检漏检率再低乘以巨大的产量到终端客户手里就是实打实的投诉和退货。而且质检员的流动率极高老师傅的经验很难标准化复制。AI检测解决的问题非常直接相机拍一张图算法出结果OK还是NG几毫秒到几十毫秒内搞定标准统一不会因为早班晚班状态不一样。很多工厂算过账一台AI检测设备替代一到两个质检员一年左右就能回本。这还不算减少客诉、提升品牌信誉的隐性收益。所以工业AI落地最早、最成熟的就是视觉检测说白了不是技术选得最好而是商业账最好算。工业AI的下一个机会本质上不是换一个更大的模型而是看谁能在质检这个入口站稳之后往上下游延伸。检测只是“看得见好坏”下一步是“看得懂原因”“预测得了风险”。这个后面详细说先回到那个最实际的问题——部署形态。1.2 云联网还是单机AI要先分清三种部署形态直播间那位朋友问的“云联网还是单机AI”拆开其实是三种完全不同的形态很多刚接触工业项目的人会搞混。第一种是纯云端AI。图片传到公有云或者私有云机房在云服务器上跑模型推理再把结果返回。这种形态的优点是很明显的算力可以弹性扩展模型可以集中更新多个工厂共用一套能力。但缺点在工业现场同样明显。很多工厂的生产数据是高度敏感的服装款式、工艺参数、面料信息这些东西按合同和数据合规要求根本不允许传到外部。就算允许传工厂产线网络经常不稳定车间里金属货架、电机干扰多网络一抖检测系统就卡顿产线就得停停线损失谁担另外云端推理多一跳网络延迟至少几百毫秒对于节拍快的产线这个延迟就是致命的。第二种是单机AI。所有的推理都在本地工控机或服务器上完成模型文件部署在本地硬盘图片从相机传入后直接在本地算。不依赖外网数据不出厂响应时间稳定在几十毫秒以内。这是目前工业检测项目里绝对的主流形态。所谓“单机”不代表不能组网它可以连车间局域网多个工位可以共享一台服务器也可以用交换机把几台工控机连起来做数据汇总但这属于工厂内部网络和上不上云是完全两码事。第三种是边缘AI。比单机更轻量直接跑在嵌入式设备上比如NVIDIA Jetson系列、RK3588这类板卡上连工控机都省了。功耗低、体积小、可以塞进现有设备里。代价是算力有限跑不了特别大的模型适合目标单一、场景稳定、节拍适中的检测任务。我自己的经验是除非客户明确有跨国集团那种统一管理、多厂数据汇聚的需求否则绝大多数工业检测项目闭眼选单机AI加本地推理。训练阶段可以把数据拿到有GPU的机器上跑甚至租个云GPU临时训练都没问题但线上推理必须落在本地。数据不出厂、断网不宕机、延迟可控这三点是工业现场的底线谁在这三条上让步现场实施的时候谁就会被钉在耻辱柱上。2. 服装检测这类工业AI到底用什么模型才够用2.1 通用大模型并不适合产线检测项目的主流选择接着回答那位朋友的下半问用的什么大模型足够。这里得先说个反直觉的事——工业检测项目里真正跑在产线上的绝大多数不是我们日常说的GPT那种大模型也不是类似SAM的视觉大模型而是中小规模的目标检测模型。原因有三点。第一产线检测对延迟敏感。动辄几十亿上百亿参数的大模型一张图推理动辄一秒起根本追不上产线节拍。服装厂的吊挂线一件衣服通过检测工位的时间通常就一两秒模型必须在几百毫秒内出结果否则物理上就来不及。第二大模型不可控。大模型存在幻觉问题回答对话可以有创造性但质检结果只有对和错。产线上需要的是确定性的、可重复的决策逻辑而不是概率性的“我觉得这里可能有问题”。第三成本。大模型的推理需要高端GPU一台工业级GPU服务器动不动十万二十万工厂的预算不是这么花的。那工业检测项目里实际用什么现在的主流选择是YOLO系列尤其是YOLOv8和YOLOv11还有一部分项目开始用RT-DETR这类基于Transformer架构的端到端检测模型。如果做分割任务比如要精确到缺陷的轮廓面积会用到YOLOv8-seg或者Mask R-CNN。这些模型参数量从几百万到几千万不等在工控机的GPU上推理一张图只要几十毫秒在边缘设备上也能压到一两百毫秒以内精度和速度的平衡是经过大量项目验证的。2.2 不同项目档位的模型选型参考结合我做过的一些服装、布匹、五金件检测项目我习惯把选型分三个档位直接给参考常规缺陷检测污渍、破洞、跳针、划痕YOLOv8s或YOLOv8m足够输入分辨率640x640中端工控机加一块RTX 3060级别或以上的GPU单张推理时间基本在20到40毫秒。如果目标很小比如针眼大小的破洞把推理分辨率提到1280x1280用YOLOv8m也能压住只是速度会慢一半左右。需要精确边缘分割量测缺陷面积、检测缝隙宽度YOLOv8m-seg或者RT-DETR-seg这个档位对标注要求也高Mask标注工作量会明显增加。多品类、小样本、频繁换款女装、童装这类SKU复杂的产线只靠从头训练YOLO效果会不稳定因为新款上来没有历史数据。这时候需要引入视觉基础模型做特征提取比如把DINOv2或CLIP的预训练特征接一个轻量分类头或者直接用零样本能力做初筛再结合少量人工标注做校准。这类方案要复杂得多适合有算法团队的公司去搞。关于“大模型”在检测项目里的真实角色我个人看法是它主要用在三个辅助场景一是异常检测比如用PatchCore这类方法对正常纹理建模出现任何偏离都报警适合漏检难以穷举的缺陷类型二是自动标注像SAMSegment Anything这种模型可以帮助标注人员快速抠出缺陷轮廓大大压低标注成本三是产线知识的问答和排错比如把设备手册、历史故障记录丢给大模型维修人员直接问“这个报警代码怎么处理”得到建议。这些是辅助增强而不是产线上的主力推理模型。3. 从0到1落地一个工业检测AI项目的实操拆解3.1 数据采集与标注阶段模型选完真正的坑从数据采集开始。很多团队犯的第一个错误是在网上找了一堆图片或者拿实验室环境拍的数据做模型到了现场发现完全不能用。工业检测的数据和光线、角度、产品型号强相关必须拿现场的相机、现场的光源、现场的机位去拍现场的产品。这步省不了省了后面全是泪。采数据有几个要点。第一覆盖颜色和材质。服装检测里同样的污渍在白色T恤和深色牛仔布上的表现完全不一样面料纹理也会干扰背景建模。所以每组缺陷必须在所有面料颜色、纹理组合下都采集足够样本。第二覆盖时段和批次。现场光照在白天和晚上会有差异不同批次的面料质感也不一样采集最好跨几天甚至几周。第三正负样本比例。要保证漏检少负样本好品的数量不能太低一般建议负样本占比至少30%到40%不然模型会把所有东西都判成缺陷工厂那边没法用。标注环节是整个项目中最耗费人力的部分。要做好标准必须先行。我参与的好几个项目都栽过这个跟头标注标准没定清楚三个标注员对“这个算不算轻污渍”的理解不一致模型训练出来判断标准混乱准确率上不去。我的经验是开工前一定要写一份缺陷标注规范文档每种缺陷类型配参考图明确边界情况怎么标有争议的抛到群里面由现场工程师拍板。标注工具上用CVAT或X-AnyLabeling这类支持协作和自动辅助标注的工具效率比单机LabelImg高很多。3.2 训练与调优阶段数据就绪之后进入训练。刚入坑的人往往关心网络结构选什么实际上在工业场景里训练的策略比网络结构更影响结果。第一个关键是预训练权重。别从头训练用ImageNet或COCO预训练的权重做初始化即使是几千张的工业数据迁移学习的效果也远好于从头训练。尤其是在数据量只有几千张的小项目里预训练模型能够把迁移的优势体现得非常明显收敛更快最终精度也更高。第二个关键是数据增强。工业检测缺陷的一个核心问题是正样本稀缺断经、跳花这类缺陷一个月也产不出几件。增强策略我建议不要无脑堆而是针对性地做因为产线上的产品朝向基本固定随机旋转角度要限制在正负5度以内不然会破坏缺陷的真实形态仿射变换和亮度扰动要加大用于模拟相机小幅抖动和光源波动。还有一种特别有效的增强叫mosaic增强把四张图拼成一张训练能明显提升模型对小目标和部分遮挡的鲁棒性实测下来对小污渍的召回率提升非常可观。第三个关键是训练监控。不要只看训练集loss我见过太多人训练集loss降得漂亮一测试原形毕露。靠谱的做法是训练时同时监控验证集上的mAP和PR曲线或者直接看每个类别的召回率。缺陷检测里最怕的是某个特定缺陷类型的召回率特别低比如暗色面料上的深色污渍这种问题需要在数据层面再针对性补样。训练完成后模型导出之前一定要做量化校准。把PyTorch的权重转成ONNX再转成TensorRT的engine文件FP16精度通常足够能带来一到两倍的推理加速。如果硬件算力紧张还可以试INT8量化但INT8对精度影响明显需要带回测试集上仔细验证。3.3 部署上线的硬件配置与网络方案部署是这个环节中最容易翻车的地方很多项目死在实验室模型跑得飞快、现场机器带不动。硬件选型的核心依据不是模型参数量大小而是实际推理的耗时和产线节拍之间的关系。举个例子某服装厂检测工位节拍是每件衣服在相机前停留1.5秒那么系统从成像到输出结果到停机执行总共最多只能用600到800毫秒。如果选了一套中等偏大的模型在普通工控机CPU上推理要2秒现场根本没法用。最后的解决方案是换了一块带Tensor Core的GPU配合TensorRT加速推理压到60毫秒再加上相机触发和PLC通信的延迟整体控制在150毫秒以内非常宽裕。硬件配置我给个参考区间。中端方案常用工控机加GeForce RTX系列比如3060/4060价格可控开发调试方便高端方案用Tesla T4或A4000稳定性好但价格翻倍边缘方案用Jetson Orin Nano或Orin NX功耗低适合嵌入到设备内部。不管选哪个都记得一定要支持TensorRT或者OpenVINOCPU方案里OpenVINO对Intel平台的优化很明显推理速度能比纯PyTorch快几倍。网络方案这块单机AI不等于不能联网。我的标准做法是相机通过GigE或USB3.0直连工控机工控机接入工厂车间局域网通过MQTT或Modbus TCP与PLC交换检测结果信号。同时加一套本地可视化看板统计每日检测数、缺陷类型分布、直通率。整套系统原则上不访问外网即使工人误操作拔了外网网线设备照常工作。只有需要远程更新模型或者集中运维的场景才通过主动出站的加密通道做模型下发即便如此也绝不开放入站端口。设备在现场跑起来之后维持一个监控脚本是很有必要的。要盯GPU温度、内存占用、推理耗时曲线。工业现场夏天车间温度高工控机散热跟不上推理延迟会逐渐变大最后超时这种情况需要提前预警。我自己就遇到过因为GPU风扇积灰导致过热降频产线频繁误停的坑后来在项目里统一加装了灰尘过滤网和温度报警才算把这个隐患压住。4. 常见问题与排查技巧实录4.1 误检漏检的典型原因工业检测上线后老板最关心的就是两个数字误检率和漏检率。误检率高好产品被判成坏品负责复检的人累死工人对系统失去信任最后索性拆了。漏检率高问题品流出去了客服投诉不断项目被问责。这两个数字不达标技术做得再完美都没用。我整理一份速查表对应最常见的问题和排查方向问题现象典型原因排查方向误检多且集中在特定颜色样本未覆盖该颜色或该颜色样不均衡补充该颜色的正常品和缺陷样本重训小缺陷漏检推理分辨率过低小目标像素数太少提高输入分辨率或增加小目标增强新品上新后误检暴增模型没见过新面料纹理通过特征模型做增量学习或临时用规则过滤同一缺陷不同角度结果不同打光方向单一图像对比度波动调整光源角度用偏振光消除反光白班正常夜班异常车间灯光照度变化数据里加入不同照度样本或固定补偿光源4.2 反光和阴影这两个老冤家做服装和布匹检测反光问题一定绕不开。深色化纤面料在强光灯下会有大面积反光反光区域的纹理细节全被“洗掉”造成误检漏检。最管用的一招是偏振光照明。在光源前加偏振片相机镜头前也加偏振片两个偏振方向互相垂直可以把镜面反射的光滤掉大部分看到的是漫反射的细节。这是改变物理成像条件的做法比单纯调算法参数有用太多。阴影问题的根源往往是打光角度不够大或者现场光线太乱。工业室外的自然光透过窗户进来会在面料上投射出不该有的阴影导致系统把阴影当成污渍。常规做法是给检测工位做全遮光罩让检测区域只受内部光源影响。不要指望算法能分辨所有阴影和真实缺陷代价太高物理上挡掉才是正道。4.3 推理速度不够快的排查顺序现场反馈“检测卡顿、跟不上”的时候先做这几步排查按顺序来确认模型格式是否已经转成TensorRT或OpenVINO。很多团队跑着未优化的PyTorch模型就上了现场速度至少差两倍。确认推理分辨率是否被无意中设置过高。有些代码写死了1280x1280但实际缺陷在640x640下就足够。分辨率减半推理耗时通常减少到原来的三分之一。确认预处理耗时。图像缩放和归一化在CPU上做的话一张大图能吃掉20到30毫秒建议把预处理放到GPU或使用NPP库。确认是否有序列化推理。如果多路相机的推理任务在单卡上排队且没有做动态batchGPU利用率会偏低。这时需要把请求按相机维度和时间维度聚合起来走批推理吞吐量能成倍提高。还有一招有些相机本身支持ROI设置只输出我们需要检测的区域而不是整幅图像。这样可以减少传输和处理的无效数据量在很多项目里简简单单就砍掉了三分之一的推理耗时。5. 工业AI的下一个机会不在检测本身5.1 从质检到工艺优化的价值链跃迁聊完了具体项目再回到标题埋的那个问题工业AI的下一个机会到底在哪。我的判断是机会不在检测这个点位上而在检测数据被采集之后的那些事。检测只是价值链上最薄的一层它回答的是“好不好”的问题。但检测的过程里其实产生了一座巨大的数据金矿每一件产品的缺陷类型、缺陷位置、缺陷形态和当时的工艺参数温度、湿度、车速、压力、设备状态、班次、原料批次放在一起能回答的就不只是“好不好”还有“为什么不好”以及“怎么才能好”。举例来说某个做服装辅料的项目里团队发现特定批次的织带在高温高湿的下午时段破洞率明显升高顺着这个线索去找发现是空压机在下午供气不稳导致织机张力波动。检测数据叠加工艺数据帮工厂找到了一个单单靠质检员和维修师傅很难定位的根因。这就是工艺优化的雏形。从“知道坏了”到“知道为什么坏”再到“预测它要坏”这个链条越往后价值越大竞争壁垒也越高。5.2 几个值得提前押注的方向基于这两年的项目和观察我认为下面几个方向是工业AI下一个五年里真正的增量机会第一个是设备预测性维护。工业设备的意外停线是制造业最痛的成本黑洞之一。现在很多新设备本身就带大量传感器数据结合AI做振动分析、电流波形分析提前一两周预警轴承磨损或者电气异常是可行的。相比检测市场的高度内卷预测性维护的技术壁垒更高客户一旦用上就有粘性。第二个是多模态质量分析。把视觉检测、设备参数、工艺数据、甚至工人操作记录全部拉通构建一个产线的“数字孪生质检大脑”。生产过程中任何异常都能快速定位是材料问题、工艺问题还是设备问题。这种系统卖的不再是一个“相机加软件”而是一整套质量管理能力客单价完全不一样。第三个是柔性生产的自适应视觉系统。服装这类行业SKU变化极快新款上市可能只有几百件传统AI检测方案没法为每个新款训练一个专用模型。下一代的机会在于用视觉基础模型加小样本学习产线上线新款的时候只需要拍几十张图做快速适配就能自动调整检测逻辑真正做到“三天上线一个新款”。第四个是AI老师傅经验沉淀。很多工厂最值钱的是在多条产线上干了二三十年的质检老师和工艺师他们的经验是隐性知识随时可能跟着人退休而流失。把这些经验体系化、编码进AI系统做成让新员工也能快速上手的智能排错助手这在制造业老龄化的大背景下极其刚需。写在最后的一些体会直播的时候有人问做工业AI最难的是技术还是商务。我说都不是最难的是愿意蹲在车间里看三个月的产线理解一个缺陷对老师傅来说为什么一眼就能看出来。很多团队一上来就谈大模型多厉害但工厂不会因为模型大买单只会因为直通率提升了、退货率下降了而买单。所以我的建议一直是先别急着追模型先追问题。把产线的痛点吃透用最小的边缘设备、最轻量的模型、最稳定的部署方式交出第一个项目建立信任之后数据积累和增量价值才有机会逐步展开。这条路走得慢但每一步都扎实这才是工业AI最稳的切入点。