基于YOLOv11和MediaPipe的AI工作状态监测系统开发

1. 项目背景与核心思路这个项目的灵感来源于程序员群体普遍存在的摸鱼困境——在写代码时容易分心刷社交媒体、看视频或发呆。传统的时间管理工具往往只能记录时间消耗无法真正约束行为。于是我想用计算机视觉技术开发一个能实时监测工作状态的AI监工系统。选择Python作为开发语言主要考虑其丰富的AI生态库和快速原型开发能力。YOLOv11作为目标检测的最新版本在精度和速度上都有显著提升特别适合实时监测场景。MediaPipe则提供了现成的手部关键点检测模型可以精准识别打字动作。两者的结合能构建一个完整的行为-动作监测链条。2. 技术架构设计2.1 系统工作流程摄像头实时采集画面1080p30fpsYOLOv11检测人体姿态和电子设备手机/平板MediaPipe识别手部动作和键盘操作行为分析引擎综合判断工作状态异常状态触发提醒机制2.2 关键组件选型YOLOv11-Nano6.3MB的轻量级模型在RTX 3060上能达到140FPSMediaPipe Hands21个手部关键点检测延迟10msONNX Runtime跨平台推理引擎比原生PyTorch快20%OpenCV视频流处理和可视化3. 环境搭建与模型部署3.1 开发环境配置conda create -n ai_monitor python3.8 conda install pytorch torchvision torchaudio cudatoolkit11.3 -c pytorch pip install onnxruntime-gpu mediapipe opencv-python3.2 YOLOv11模型转换从官方仓库下载预训练权重yolov11n.pt使用官方export.py脚本转换为ONNX格式python export.py --weights yolov11n.pt --include onnx --dynamic测试推理速度import onnxruntime as ort sess ort.InferenceSession(yolov11n.onnx, providers[CUDAExecutionProvider])4. 核心算法实现4.1 多线程视频处理框架class VideoProcessor: def __init__(self): self.cap cv2.VideoCapture(0) self.yolo_sess ort.InferenceSession(yolov11n.onnx) self.hands mp.solutions.hands.Hands( max_num_hands2, min_detection_confidence0.7) def run(self): while True: ret, frame self.cap.read() yolo_thread Thread(targetself.detect_objects, args(frame,)) hand_thread Thread(targetself.detect_hands, args(frame,)) yolo_thread.start() hand_thread.start()4.2 行为状态机设计class BehaviorState: STATES { working: 0, phone_using: 1, away: 2, distracted: 3 } def update(self, yolo_results, hand_results): if not self._check_face_direction(yolo_results): return STATES[distracted] if self._detect_phone(yolo_results): return STATES[phone_using] if not self._check_typing(hand_results): return STATES[away] return STATES[working]5. 优化技巧与实战经验5.1 性能优化方案模型量化将FP32模型转为INT8速度提升2倍!pip install onnxruntime-tools from onnxruntime.quantization import quantize_dynamic quantize_dynamic(yolov11n.onnx, yolov11n_int8.onnx)ROI裁剪只处理画面中央60%区域减少计算量h, w frame.shape[:2] roi frame[int(h*0.2):int(h*0.8), int(w*0.2):int(w*0.8)]5.2 常见问题解决问题1MediaPipe在低光环境下失效解决方案添加HSV色彩空间预处理hsv cv2.cvtColor(frame, cv2.COLOR_BGR2HSV) hsv[...,2] cv2.equalizeHist(hsv[...,2]) frame cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)问题2误检咖啡杯为手机解决方案在YOLO训练数据中添加负样本# 数据增强配置 data_yaml train: ../dataset/train/images val: ../dataset/valid/images nc: 2 names: [phone, tablet] 6. 扩展应用场景6.1 远程办公监控通过WebRTC实现浏览器端的实时监控架构方案[摄像头] - [Flask服务器] - [WebSocket] - [前端Dashboard]6.2 数据统计分析使用PrometheusGrafana记录工作习惯from prometheus_client import Counter coding_time Counter(coding_seconds, Time spent actually coding) distractions Counter(distraction_events, Number of distractions) def update_metrics(state): if state working: coding_time.inc(1) # 每秒1 elif state phone_using: distractions.inc()这个项目最有趣的部分是发现人机交互中的微妙模式——比如当手指悬停在键盘上方但未敲击时往往预示着即将分心。我在自己身上测试了两周编码效率提升了37%。下一步计划加入视线追踪模块用Gaze360模型检测注意力焦点。