视觉机器狗识别赛代码实战：从HSV颜色阈值到运动控制闭环

简介本资源为2021中国工程机器人大赛暨国际公开赛RoboWork视觉机器人项目——视觉机器狗识别赛的赛用代码包面向参加大学生机器人竞赛的选手及指导教师提供可参考的完整参赛实现方案。压缩包共267个文件约21.03MB以107个Python源码和75个d6a动作文件为核心辅以jpg、png图像素材、pdf设计文档、csv与npz数据文件以及caffemodel、prototxt等深度学习模型配置覆盖识别算法、步态控制与视觉处理等模块。已有111人学习下载。读者可从中获取赛题代码框架、机器狗动作序列、人脸检测模型文件及设计文档便于对照复现识别流程、理解步态与视觉协同逻辑适合作为竞赛备赛与课程实践的参考素材。1. 视觉机器狗识别赛的赛用代码到底在比什么很多人第一次看到“视觉机器狗识别赛”这个赛项名会下意识以为要自己造一只四足机器人或者至少要搞定步态控制。真到赛场上你会发现四足平台是赛方提供的步态是固定的选手真正能拉开差距的地方只有一处机器狗背上那台摄像头看到的东西怎么在几百毫秒内变成一条正确的运动指令。2021 中国工程机器人大赛暨国际公开赛RoboWork里的这个赛项本质是一道“视觉闭环”题——识别目标、判断方位、驱动底盘走过去全程不允许遥控。赛用代码要解决的核心问题就三个颜色或形状特征怎么稳定提取、图像坐标怎么映射成运动决策、以及现场光照翻车时怎么兜底。适合已经会写 Python、调过 OpenCV、但没把视觉和运动控制真正串起来跑过整场的同学也适合带队老师拿它当视觉闭环的教学案例。2. 从摄像头到轮子视觉闭环的最小系统拆解2.1 赛项任务拆解与硬件链路先把任务还原成工程语言。场地里通常摆放若干颜色鲜明的目标物色块、指示牌或地面标记机器狗需要从起点出发依次识别并靠近或绕行。整条链路是摄像头采集 → 图像预处理 → 目标检测 → 位置解算 → 运动决策 → 串口/总线下发速度指令 → 底盘执行。任何一环延迟过大机器狗就会“看到的时候还在走过去已经偏了”。硬件上常见配置是一台四足平台 一个前向 USB 摄像头或树莓派摄像头 一块板载计算单元树莓派、Jetson Nano 这类。摄像头分辨率不用追高640×480 足够帧率稳定在 30fps 比偶尔飙到 60fps 更重要。计算单元和底盘之间一般走串口波特率 115200 是常见起点。这里有个血泪经验摄像头装得越靠前、越接近机器狗头部视野盲区越小但抖动也越大减震支架不是可选项。2.2 为什么选颜色阈值而不是深度学习赛用代码里目标检测这一环我一般会先上 HSV 颜色阈值而不是一上来就 YOLO。原因很实际赛项目标物颜色是已知且高饱和的HSV 阈值几行代码就能跑CPU 占用低延迟可控而深度学习模型在板载算力上推理一帧可能就要几十毫秒还要考虑模型转换、依赖安装现场调试成本高。HSV 相比 RGB 的优势在于把色调H和亮度V解耦光照变化主要影响 V对 H 的干扰小得多这就是它在赛场相对“抗造”的原因。当然阈值法有边界目标物颜色和背景接近、或者现场有同色干扰物时会失效。所以赛用代码通常会在阈值之后加形态学处理和轮廓筛选面积、长宽比、凸性把误检压下去。下面是一段可直接抄的最小检测代码。import cv2 import numpy as np def detect_target(frame, lower, upper, min_area800): # 转 HSV光照变化下比 RGB 稳 hsv cv2.cvtColor(frame, cv2.COLOR_BGR2HSV) # 颜色阈值分割得到二值掩膜 mask cv2.inRange(hsv, lower, upper) # 开运算去噪点闭运算补空洞 kernel np.ones((5, 5), np.uint8) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel) mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) # 找外轮廓 contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) best None for c in contours: area cv2.contourArea(c) if area min_area: continue # 面积太小多半是噪声 x, y, w, h cv2.boundingRect(c) ratio w / float(h) if ratio 0.5 or ratio 2.0: continue # 长宽比离谱排除细长干扰 if best is None or area best[0]: best (area, x, y, w, h) return best, mask逻辑说明先转 HSV 做阈值分割形态学开闭运算把碎点和小洞处理掉再按面积和长宽比筛轮廓最后取面积最大的那个作为目标。参数上min_area要按实际分辨率调640×480 下 800 是个保守起点目标物在画面里明显偏小时可以降到 300kernel尺寸 5×5 适合中等噪声画面噪点重可以加到 7×7但会让边缘变钝。HSV 的lower/upper不要照抄网上的值必须拿现场或近似光照的样张用取色工具读出目标区域的 H/S/V 范围再定。2.3 图像坐标到运动指令的映射检测到目标只是第一步真正决定机器狗走得好不好的是映射逻辑。最朴素的做法是看目标框中心cx和画面中心W/2的偏差偏左就左转偏右就右转偏差越大转得越快。但纯比例控制容易在目标附近来回震荡也就是常说的“画龙”。我一般会加一个死区偏差小于阈值就不转和一个简单的积分或低通滤波让转向指令平滑。def decide_motion(cx, frame_w, area, area_ref20000): err cx - frame_w / 2.0 # 横向偏差正为偏右 dead_zone frame_w * 0.05 # 5% 死区抑制震荡 if abs(err) dead_zone: turn 0 else: turn -err / (frame_w / 2.0) # 归一化到 [-1, 1]负为左转 # 面积近似反映距离面积越大越近 if area area_ref * 0.6: forward 0.6 # 还远前进 elif area area_ref * 1.2: forward -0.3 # 太近后退一点 else: forward 0.2 # 到位微调 return forward, turn逻辑说明err是目标中心相对画面中心的像素偏差dead_zone取画面宽度的 5%避免目标在中心附近时指令抖动。turn归一化后直接映射到转向速度forward用目标框面积粗略估计距离面积小说明远、面积大说明近。参数area_ref是“理想距离下目标框的面积”必须在现场实测标定不能拍脑袋。这套映射的好处是逻辑透明、好调坏处是面积估距受目标姿态影响大目标侧对摄像头时面积会突然变小所以实际代码里常配合“连续多帧面积稳定”才认。3. 赛用代码的工程结构怎么组织才不现场翻车3.1 主循环与线程划分赛场代码最怕的是“卡一下”。图像采集、检测、决策、串口下发如果全塞在一个循环里任何一步慢都会拖垮整体帧率。常见做法是把采集单独放一个线程主循环只做检测和决策串口下发用非阻塞写。这样即使检测偶尔慢一帧采集也不会丢帧堆积。import threading import queue import time frame_q queue.Queue(maxsize2) # 只留最新帧防止延迟累积 def capture_loop(cap): while True: ok, frame cap.read() if not ok: continue if frame_q.full(): try: frame_q.get_nowait() # 丢掉旧帧保证实时性 except queue.Empty: pass frame_q.put(frame) def main_loop(cap, ser): t threading.Thread(targetcapture_loop, args(cap,), daemonTrue) t.start() while True: frame frame_q.get() best, _ detect_target(frame, LOWER, UPPER) if best is None: send_stop(ser) # 没看到目标停车别乱走 continue _, x, y, w, h best cx x w / 2.0 forward, turn decide_motion(cx, frame.shape[1], w * h) send_cmd(ser, forward, turn) time.sleep(0.01)逻辑说明queue.Queue(maxsize2)是关键队列满时丢旧帧而不是阻塞保证主循环拿到的永远是最新画面。检测不到目标时发停车指令这是安全底线——宁可停着也别让机器狗凭上一帧的记忆乱冲。time.sleep(0.01)给主循环一个最小节拍避免空转吃满 CPU。参数上队列长度 2 是经验值设 1 容易在读写竞争时丢帧设太大延迟会累积。3.2 参数配置文件化现场调参是常态把阈值、死区、速度上限这些写死在代码里改一次就要重新跑一遍效率极低。我一般会抽一个config.yaml或config.json代码启动时读调参只改文件不改逻辑。下面用 JSON 举例因为标准库直接支持不引入额外依赖。import json def load_config(pathconfig.json): with open(path, r, encodingutf-8) as f: cfg json.load(f) # 把 HSV 阈值转成 numpy 数组方便直接喂给 inRange import numpy as np cfg[lower] np.array(cfg[lower], dtypenp.uint8) cfg[upper] np.array(cfg[upper], dtypenp.uint8) return cfg对应的config.json长这样{ lower: [0, 120, 70], upper: [10, 255, 255], min_area: 800, dead_zone_ratio: 0.05, area_ref: 20000, max_speed: 0.8 }逻辑说明HSV 阈值在 JSON 里存成数组读进来转uint8才能给inRange用。dead_zone_ratio用比例而不是绝对像素换分辨率时不用重调。max_speed是速度上限防止参数调飞时机器狗冲出去。这套结构的好处是现场可以边看边改改完重启进程即可不用碰主逻辑。3.3 串口指令协议与下发底盘通信协议各队不同但赛用代码里常见的是“帧头 数据 校验”的定长帧。下面给一个通用示例重点是校验和超时重发别让一条丢包指令卡死整场。import struct def build_frame(forward, turn): # 速度映射到 -100~100 的整数协议自定义 f int(max(-1, min(1, forward)) * 100) t int(max(-1, min(1, turn)) * 100) payload struct.pack(bb, f, t) checksum sum(payload) 0xFF return b\xAA\x55 payload bytes([checksum]) def send_cmd(ser, forward, turn): frame build_frame(forward, turn) ser.write(frame)逻辑说明帧头0xAA 0x55用于接收端对齐struct.pack(bb, ...)把小端有符号字节打包校验和取 payload 累加低 8 位。forward/turn先 clamp 到 [-1,1] 再乘 100避免越界。实际下发频率建议 20~50Hz太低动作不连贯太高会占满串口带宽。如果底盘有回传状态记得单独开读线程别和写混在一起。4. 现场避坑那些让机器狗当场发呆的瞬间4.1 光照一变阈值全废现象上午调好的 HSV 阈值下午场地灯一开目标要么检不到要么满屏都是。原因HSV 的 V 通道对光照强度敏感阈值区间是按某一时刻的样张定的光照变了分布就漂了。解决一是把 V 的下限调低、上限拉满让亮度变化落在区间内主要靠 H 和 S 区分二是加自适应比如用大津法对 V 通道做自动阈值或者干脆在检测前做一次白平衡/直方图均衡。我一般会留一组“宽松阈值”作为兜底宁可多检几个候选靠轮廓筛选去伪。4.2 目标框抖动导致转向震荡现象机器狗对着目标左右小幅摆动像在犹豫。原因检测框每帧位置有像素级抖动映射到转向就是正负交替的小指令。解决加死区只是第一步更稳的是对cx做滑动平均或一阶低通。比如cx_smooth 0.7 * cx_smooth 0.3 * cx系数越小越平滑但响应越慢0.3 是响应和稳定的折中。另外可以要求连续 N 帧检测到目标才更新指令单帧丢失沿用上一帧避免偶发漏检打断动作。4.3 面积估距在目标侧身时失灵现象机器狗明明离目标还远却突然减速或后退。原因用目标框面积估距目标侧对摄像头时投影面积骤减被误判为“变远”。解决不要只用面积结合目标框在画面中的纵向位置越靠下通常越近做加权或者用目标框底边 y 坐标估距底边比面积稳。如果目标形状规则还可以用轮廓的最小外接矩形宽度代替面积。实在不行就上单目测距的简化版但赛场时间紧通常加权就够。4.4 串口丢包让机器狗“失忆”现象机器狗偶尔停一下或动作跳变。原因串口写没有流控缓冲区满时丢帧或者校验失败被底盘丢弃。解决下发频率别拉太高20~30Hz 足够写之前检查ser.out_waiting积压太多就跳过这一帧关键指令比如停车连发三次。另外线材要固定好赛场振动大接触不良是玄学故障的常见来源。4.5 启动顺序错导致首帧崩溃现象程序一跑就报错或读到空帧。原因摄像头初始化需要时间cap.read()前几帧可能返回 False串口打开也可能失败。解决启动后先空读几帧丢弃确认能稳定拿到画面再进主循环串口打开加 try/except 和重试。这些看着琐碎但赛场留给调试的时间往往只够改参数不够查这种低级错误提前写好能省很多事。5. 把识别赛代码用到更稳的进阶技巧前面讲的都是“能跑”这一章讲“跑得稳、跑得可复现”。第一个技巧是给检测加时间维度的确认。单帧检测永远有误检风险我一般会维护一个长度为 5 的环形缓冲记录最近 5 帧的目标中心只有至少 3 帧都检到且中心偏移小于阈值才认为目标“锁定”。这能过滤掉绝大多数一闪而过的干扰代价是响应慢一两帧在低速场景完全值得。第二个技巧是速度分级而不是连续映射。连续映射调参时很难找到“既快又不冲过头”的点改成三档慢速接近、中速巡航、快速远离反而好调每档的阈值现场标一次就行。下面是一个分级决策的骨架。def decide_motion_gear(cx, frame_w, area, area_ref): err cx - frame_w / 2.0 if abs(err) frame_w * 0.05: turn 0.0 elif err 0: turn -0.5 if err frame_w * 0.2 else -0.25 else: turn 0.5 if err -frame_w * 0.2 else 0.25 if area area_ref * 0.5: forward 0.7 elif area area_ref * 0.9: forward 0.4 else: forward 0.1 return forward, turn逻辑说明转向分三档偏差超过画面宽度 20% 用大转向5%~20% 用小转向5% 以内不转。前进按面积分三档越近越慢。档位阈值都是比例换分辨率不用重调。这套逻辑牺牲了一点平滑性换来的是现场可解释、可快速调整。第三个技巧是留“黑匣子”。赛场上出问题事后复盘全靠日志。我习惯把每帧的时间戳、检测结果、下发的指令写进一个 CSV跑完一场直接看哪一段异常。别用 print刷屏会拖慢主循环用后台线程写文件。日志字段建议包含帧号、时间戳、是否检到、cx、area、forward、turn。有了这份数据震荡、丢检、延迟一目了然比盯着机器狗猜高效得多。最后一个习惯任何参数改动都记一笔。现场调参很容易改着改着忘了哪组最好用一张纸或一个文本文件记下“时间 改了啥 效果”赛后回看能省下大量重复试错。这套识别赛代码本身不复杂难的是把视觉、决策、通信、现场环境这四件事同时按住。我踩过最深的坑不是算法而是觉得“调好了就不用管了”结果换了个场地全部重来。把配置化、日志、兜底逻辑提前做进去才是真正能复用的赛用代码。希望帮到你。本文还有配套的精品资源点击获取