OMRON视觉引导机器人分拣装配：手眼标定与精度落地

简介这份资料是《基于OMRON视觉系统的机器人零件分拣装配系统》技术文献面向工业机器人、机器视觉方向的学生、工程师与自动化产线设计人员针对零部件尺寸形状颜色多样化导致产线柔性化水平低的问题给出可落地的系统方案。内容涵盖ABB IRB120六轴机器人与IRC5紧凑型控制柜、OMRON FZ-SC2M摄像头与FH-L550视觉传感控制器、西门子S7-200 SMART PLC及环形光源的硬件选型全局手眼标定Eye to Hand将三维标定简化为二维以及零件形状尺寸颜色识别、位置与旋转角偏差提取、RAPID程序与视觉通讯、控制流程和分拣程序设计等环节并配有本体结构、系统组成、偏差示意与流程图适合作为课程设计、毕业设计及工程选型的参考文献与专业指导。资源包为1个PDF文件约2.32MB正文收录于《电子制作》2019年10月刊已有222人学习下载便于快速通读并复用其中的标定与识别思路。1. 一条3C小件装配线的现实起点零件倒进料盒姿态随机位置偏差能到±8 mm人工摆盘慢且一致性差这是很多小件分拣装配线改造前的常态。基于OMRON视觉系统的机器人零件分拣装配系统要解决的事情很具体用相机替代人眼把零件找出来算出它在机器人坐标系下的位姿再把抓取、移送、插入、压装这一串动作交给机器人执行。它适合三类人正在做产线自动化改造的集成工程师手上已经有OMRON FH/FZ视觉控制器或者TM系列协作机器人的设备工程师需要把视觉结果接进现有NJ/NX控制器程序的控制工程师。真正耗时间的通常不是能不能识别而是识别出来的坐标能不能稳定映射到机器人末端——标定残差0.2 mm插入间隙只有0.3 mm的零件就可能压不进去。2. OMRON视觉系统的成像链路与视觉引导坐标系对齐视觉引导机器人这条链路前半段是光学和成像后半段是坐标变换。两段任何一段糊弄后面机器人的动作精度都救不回来。2.1 先定视场再定相机OMRON视觉方案的选型顺序新手最容易犯的错是先挑相机型号。合理的顺序是先量零件的关键特征尺寸定出需要的定位精度再反推像素当量最后才算分辨率、选镜头、配光源。OMRON的产品线里FQ/FZ这类一体机适合单工位、逻辑简单的有无判断与粗定位FH系列视觉控制器配多路相机、支持更大规模的图像工具组合与外部通信适合需要和控制器交换结果的装配线。像素当量是这条链路的根把一个像素代表的物理尺寸压到足够小亚像素才有意义。定位精度一般按像素当量的1/4到1/3估算取不到亚像素插值的工位只能按整像素算。下面这段脚本做的是选型反推输入是视场和精度要求输出是像素量和镜头焦距。# 视觉选型反推由精度要求推相机分辨率与镜头焦距 fov_w, fov_h 200.0, 150.0 # 视场宽高 mm tol 0.10 # 目标定位精度 mm subpix 0.25 # 亚像素能力保守按 1/4 像素算 pixel_mm tol / subpix # 允许的单个像素代表的物理尺寸 res_w fov_w / pixel_mm # 需要的水平像素数 res_h fov_h / pixel_mm print(f像素当量上限 {pixel_mm:.3f} mm/px) print(f理论最低分辨率 {res_w:.0f} x {res_h:.0f}工程上再留 1.5~2 倍余量) wd 300.0 # 工作距离 mm sensor_w 8.4 # 传感器宽度 mm2/3 英寸常见值 print(f建议焦距约 {wd * sensor_w / fov_w:.1f} mm)脚本里pixel_mm是硬约束subpix取值越保守选出来的相机越贵但越稳。焦距用的是相似三角形关系f WD × 传感器尺寸 / FOV实际还要留出安装空间和景深镜头标称焦距未必有算出来的值就近取大一档更安全。光源环节决定图像的下限。金属件、注塑件、镀层件的高反光和暗部常常同时出现在一帧里这时常用的做法是多角度打光或者多次曝光合成做高动态范围成像HDR让高光区不溢出、阴影区还保留边缘信息。工件特征光源方案效果与代价平面金属、强反光低角度环形光或穹顶光边缘清晰穹顶光成本高、体积大轮廓尺寸测量背光平行背光更好轮廓最干净无法判断表面缺陷立体件、多面台阶条形光多角度组合通用性好调光耗时暗色与亮色混料多曝光合成 HDR动态范围够节拍多几十毫秒字符、丝印同轴光抑制反光工作距离受限2.2 手眼标定把像素坐标变成机器人基坐标标定有两种构型相机固定在支架上俯视工位叫 Eye-to-Hand相机装在机器人末端跟着动叫 Eye-in-Hand。分拣装配线绝大多数用前者——视野固定、标定一次长期有效、拍照与机器人运动可以并行。Eye-in-Hand 适合大工件或者需要多角度拍照的场合代价是每换一个位姿就得重算一次变换。平面抓取场景下标定要解的是一个仿射变换像素(u,v)到机器人基坐标(x,y)的线性映射。九点标定是行业里的常见做法机器人末端装标定针依次走到九个位置每个位置记录机器人坐标同时让视觉读出标定点的像素坐标然后最小二乘拟合。import numpy as np # pts_pix: 视觉给出的标定点像素坐标 (u,v) # pts_rob: 机器人示教得到的同一批点基坐标 (x,y) pts_pix np.array([[120.5, 88.3], [480.2, 90.1], [845.7, 92.0], [121.0, 430.6], [482.4, 433.2], [843.9, 431.8], [119.8, 770.5], [479.6, 772.1], [846.2, 769.4]]) pts_rob np.array([[100.00, 200.00], [140.00, 200.10], [180.00, 199.90], [100.05, 240.00], [140.02, 240.05], [179.98, 239.95], [ 99.95, 280.00], [140.01, 280.03], [180.04, 279.97]]) A np.hstack([pts_pix, np.ones((pts_pix.shape[0], 1))]) # [u, v, 1] cx, *_ np.linalg.lstsq(A, pts_rob[:, 0], rcondNone) # x a*u b*v c cy, *_ np.linalg.lstsq(A, pts_rob[:, 1], rcondNone) # y d*u e*v f pred A np.column_stack([cx, cy]) rms np.sqrt(((pred - pts_rob) ** 2).sum(axis1).mean()) print(x %.6f*u %.6f*v %.4f % tuple(cx)) print(y %.6f*u %.6f*v %.4f % tuple(cy)) print(旋转角 %.4f deg标定 RMS %.4f mm % (np.degrees(np.arctan2(cx[1], cx[0])), rms))np.linalg.lstsq用全部九个点求最小二乘解比三点解算稳得多还能顺带算出残差。RMS 是判断标定质量的直接指标装配场景一般要求残差小于装配间隙的十分之一间隙0.3 mm的配合标定 RMS 最好压到0.03 mm以内只是抓取放到托盘的分拣工位0.2 mm以内就能用。旋转角从系数里反算是因为a和b本身含有比例因子直接atan2得到的是映射后的角度需要确认它与机器人 Rz 方向一致。标定完必须做一次回检随机挑几个点让机器人走到视觉算出的位置用塞尺或对刀针看偏差不要只信软件里的残差数字。2.3 FH控制器与NJ/NX、机器人之间的数据通道数据通道是这条链路上故障率最高的一段。OMRON FH/FZ 视觉控制器对外常见几种接口同时存在以太网无协议TCP/UDP ASCII 命令、EtherNet/IP、并行IO、RS-232C。NJ/NX 系列机器自动化控制器与视觉交换数据时配 EtherNet/IP 标签数据链接最省事数据量大或者要传字符串结果时改用 Socket 指令SktTCPConnect、SktTCPRcv更灵活。如果现场是较老的 CJ/CP 系列通信用的是CMND/TXD/RXD这类无协议指令走的是串口或以太网单元。第三方机器人发那科、ABB、安川、库卡、埃夫特等大多不直接跟视觉控制器对话而是由控制器中转视觉把结果写给控制器控制器再按机器人的通信方式转发。控制器中转的好处是逻辑集中、报警好做代价是多一跳通信延迟通常在5到20 ms之间。如果机器人上层跑的是 ROS2常见的接法是在控制器或上位机上开一个 socket 服务节点把视觉结果转成自定义消息话题发布出去。import socket FH_IP, FH_PORT 192.168.250.1, 9600 # 视觉控制器以太网设置按现场改 s socket.create_connection((FH_IP, FH_PORT), timeout1.0) s.sendall(bMEASURE\r) # 触发测量命令字以控制器手册为准 buf b while not buf.endswith(b\r\n): # 读到结束符为止 chunk s.recv(256) if not chunk: break buf chunk s.close() f buf.decode(ascii).strip().split(,) print(f结果{f[0]} dX{float(f[1]):.3f}mm dY{float(f[2]):.3f}mm dTheta{float(f[3]):.3f}deg)这段代码里timeout一定要设视觉没响应时不能让上位机无限阻塞MEASURE只是示意命令字实际以控制器手册为准。接收循环按结束符\r\n判断一帧完整比固定长度读取可靠——字符串长度会随数值位数变化。生产环境下还要加上重试次数和返回格式校验字段数不对直接判为无效帧。3. 零件识别与位姿计算从图像到可执行抓取点标定解决了相机看到的和机器人运动的怎么对应接下来是从一帧图里找出零件并算出姿态。3.1 图形搜索与边缘定位的参数怎么调OMRON视觉控制器里的常用工具就那么几类图形搜索模型匹配用于找已知形状的零件并输出位置和角度边缘工具做一维扫描测边缘位置和宽度Blob 做面积、重心适合形状不规则的散料还有针对特定场景的字符、颜色、缺陷工具。图形搜索的核心参数是相似度阈值和搜索范围。阈值不是越高越好阈值0.8配上合格的打光得分分布通常在0.85到0.95之间这时提阈值到0.9只是减少了容错反过来打光不稳导致得分在0.65到0.8之间跳硬压阈值会频繁丢目标正确做法是回去改光源或者换特征更明显的模型。参数作用典型取值调过头的后果相似度阈值判定是否为目标0.6~0.8太高丢目标太低误匹配角度搜索范围允许的旋转±180°或按来料±10°范围越大耗时越长搜索ROI限定搜索区只框零件可能出现的区域过小会漏掉到位偏差大的件边缘梯度阈值判定边缘强弱按实测灰度差定太低引入噪声边缘噪声消除过滤孤立像素1~3 像素过大把细特征抹掉亚像素插值提升定位精度开启边缘质量差时反而抖动ROI 是最被低估的一项。把搜索区域框到零件实际可能出现的范围以内单次识别能从几十毫秒降到几毫秒节拍就是这么抠出来的。3.2 偏移量、旋转角与Z向高度的换算视觉输出的一般是相对示教基准的偏移量dX、dY、dTheta。Z 向高度基本不用视觉来测深度信息在单目平面成像里不可靠常用做法是配一个激光位移传感器单独给高度值或者按料盒分层用固定高度。这里有个容易出错的点偏移量到底是定义在机器人基坐标系下还是定义在工件的局部坐标系下。标定时用的基准点和实际生产时视觉输出的基准点必须是同一个否则补偿方向会整体旋一个角度表现就是有的位置准有的位置偏得离谱。import math def offset_pose(teach_xyzr, dx, dy, dtheta_deg): teach_xyzr: 示教点 [X,Y,Z,Rz]dx/dy/dtheta 为视觉给出的偏移量。 约定偏移量定义在机器人基坐标系下角度绕 Z 轴。 x, y, z, rz teach_xyzr th math.radians(rz) # 把基坐标系的偏移投影到当前末端姿态上 dx_r dx * math.cos(th) - dy * math.sin(th) dy_r dx * math.sin(th) dy * math.cos(th) return [x dx_r, y dy_r, z, rz dtheta_deg] print(offset_pose([300.0, 150.0, -20.0, 90.0], 2.5, -1.2, 3.0))dtheta的叠加顺序也要确认多数控制器里Rz dtheta是按外旋还是内旋语义不同结果差一个符号。工程上的验证办法很笨但有效——手工把零件转过一个已知小角度看机器人末端是否按同一方向跟过去。3.3 结果封装给控制器和机器人一份不会误解的数据数据帧格式最好在项目开始时就定死并写进文档。常见结构是起始标识、状态位、数值字段、校验、结束符。数值统一用毫米和度符号位要明确字段数固定别让解析方去猜。# 建议的数据帧约定ASCII逗号分隔\r\n 结束 $RES,OK,2.517,-1.204,3.062,1\r\n $RES,NG,0.000,0.000,0.000,0\r\n 字段1 帧头字段2 状态 OK/NG字段3~5 dX/dY/dTheta 字段6 序号用于机器人回执对账序号字段看着多余实际上是排查问题的钥匙。视觉连拍、控制器缓冲、机器人排队取结果这三者之间一旦不同步没有序号就无法判断机器人抓的是不是当前这一帧算出来的位置表现就是偶发的抓偏一个。加上序号并要求机器人执行完成后回执问题会立刻收敛。4. 分拣装配动作编排抓取、插入与节拍识别和坐标都对了动作编排决定这套系统能不能连续跑八小时。4.1 抓取顺序与防碰撞散料分拣的第一个坑是抓取顺序。料盒里的零件不是等距排列的按视觉输出的顺序抓机器人会在盒子里来回穿既慢又容易碰到手爪和料盒壁。简单有效的做法是贪心最近邻排序零件数在30个以内效果就够。def plan_pick_order(points, start(0.0, 0.0)): 贪心最近邻每次选离当前位置最近的抓取点 remaining, order, cur list(points), [], start while remaining: nxt min(remaining, keylambda p: (p[0]-cur[0])**2 (p[1]-cur[1])**2) remaining.remove(nxt) order.append(nxt) cur nxt return order print(plan_pick_order([(300,150), (320,180), (295,140), (330,120)]))零件数量多、分布密的场合最近邻会频繁改变方向改成按料盒分区、每区内部走蛇形更稳。防碰撞还有两条经验手爪的下探路径在垂直方向先抬到安全高度再水平移动ROI 边缘裁掉一圈避免把贴着料盒壁的零件算进去因为那种位置抓取时手爪十有八九会蹭到壁。料盒高度方向也要分层。满盒抓最上层视觉能拍到抓到底层时相机视野被盒壁遮挡常见做法是料盒随升降台同步抬升保证零件始终在同一焦面附近。4.2 装配阶段从快速接近到低速搜索插入抓取是位置问题装配是力的问题。插入动作一般分三段快速接近到工件上方2到5 mm的位置低速插入末端力或力矩到阈值后判断到位或报错。直接把插入速度和抓取速度设成一样是新手最常见的错误——插入阶段速度通常要压到5到20 mm/s。插不进去时的搜索策略有几类螺旋搜索以当前位置为圆心半径1到3 mm螺旋外扩、直线扫掠、以及带力控的柔顺插入。螺旋搜索实现简单、对轴孔间隙0.1到0.5 mm的配合够用间隙更小或者零件易损就得上力控或者带柔性补偿的末端执行器。阶段速度关键参数判定条件接近100~300 mm/s安全高度 5~20 mm到达目标位置对中20~50 mm/s视觉允许偏差偏差小于设定值插入5~20 mm/s力阈值 5~20 N力突增或到位信号压装2~10 mm/s目标压力/位移位移到位并保压退回50~200 mm/s—动作完成回执力阈值定多少要看工件。塑料件5 N就可能压裂金属过盈配合20 N都算小。先用手动示教跑几件记录插入过程中的峰值力再取峰值的三分之一作为报警阈值比拍脑袋定数靠谱。4.3 节拍拆解与异常处理节拍不够的时候第一件事是把整周期拆开测而不是先换更快的机器人。典型分拣装配工位的耗时分布大概是拍照加识别20到60 ms视觉到控制器的通信5到20 ms控制器到机器人的运动指令5到15 ms机器人取放动作大半占比。通信和识别往往不是瓶颈机器人的移动路径才是。环节典型耗时压缩手段触发拍照曝光5~30 ms缩短曝光、加补光、分区ROI图像识别10~60 ms缩小ROI、减少工具数量数据帧传输5~20 ms改用标签数据链接、减少中转机器人取放1~3 s优化路径、提高过渡点速度插入压装0.5~2 s缩短搜索时间、分段限速异常处理必须覆盖这几种识别失败重拍一次仍失败则跳过并计数、抓取失败真空压力开关或夹爪到位信号未触发放回或标记NG、插入超力退回重试连续两次报错停机、零件掉落视觉复查工位。每种异常都要有明确的计数和报警阈值不然现场会陷入偶尔停一下、没人知道为什么的状态。5. 标定与识别精度的验证方法以及现场最容易踩的坑精度验证不能靠看着差不多。用同一件标准件在同一位置重复跑30次记录视觉输出的dX、dY、dTheta算极差和标准差极差反映短期抖动标准差反映稳定性。极差超过0.1 mm就说明成像或算法在抖先查光源和曝光别急着改标定。再换5个不同位置各跑10次看不同位置的偏差是否一致——如果偏差随位置线性变大多半是畸变没校或者标定点分布太集中。import numpy as np # 30 次重复测量的视觉输出单位 mm / deg data np.loadtxt(repeat.csv, delimiter,, skiprows1) # 列: dX,dY,dTheta print(极差 , np.ptp(data, axis0).round(4)) print(标准差, data.std(axis0, ddof1).round(4)) print(均值 , data.mean(axis0).round(4))现场高频问题的排查路径大致是固定的按现象走比按经验猜快得多。现象常见原因验证方法白天准、夜班偏环境光串入车间照明变化遮挡环境光后复测同一标准件同一位置重复精度差曝光时间过长、工件振动缩短曝光、加背光、静态复测边缘位置跳一个像素亚像素关闭或边缘质量差打印边缘梯度直方图看对比度标定残差小但实际抓偏标定基准点与生产基准点不一致回检指定点比对视觉与示教坐标偶发抓偏一个位置数据帧时序不同步给结果加序号并做机器人回执通信偶发超时网络抖动、无心跳机制加超时重试与链路心跳计数换批零件后识别率下降表面处理或颜色变化重采模型扩大相似度分布样本最后一个技巧关于换型不要为每种零件建一套完全独立的程序。把零件特征、ROI、相似度阈值、抓取点偏移、插入参数做成一张参数表换型时只切换参数集控制器的逻辑和机器人的动作路径尽量复用。参数表存成 CSV 放在控制器或者上位机上比在视觉软件里手工改十几个界面字段可靠得多也让版本管理成为可能。本文还有配套的精品资源点击获取