MMPose 完整教程：3 步跑通 133 关键点全身姿态估计

MMPose 完整教程3 步跑通 133 关键点全身姿态估计【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose做一个健身动作纠正 Demo 时你可能碰到过这样的坎模型只返回 17 个身体关节想判断手指有没有伸直脚掌朝向对不对就抓瞎了。要补齐手、脚、脸的信息往往得自己再拼几套独立模型数据格式还不统一。MMPose是一个基于 PyTorch 的开源姿态估计工具箱OpenMMLab 出品它把 2D/3D 人体、手部、人脸、全身、动物姿态估计等主流任务收进同一套代码框架里。本文带你从安装到跑通 Demo再到选型和微调走一遍完整流程。读完你能拿到什么一套适配 GPU/CPU 环境的最短安装路径避开 mmdet、mmcv 版本对不齐的坑用仓库自带测试图跑通17 关键点人体姿态估计的完整命令RTMPose 系列t/s/m/l/x与 WholeBody 全身模型的精度-速度选型对照表多目标检测 姿态估计的 Pipeline 搭法以及训练/部署调优的实用技巧MMPose 怎么做的三种范式 模块化拼装姿态估计任务里先检测人再估计和一次性估计所有人是两条主流路线MMPose 把两者都实现了你可以按场景挑Top-down自顶向下先由目标检测器给出每个人的包围框再对每张人体裁剪图做关键点回归。精度高适合单人或少人场景是 WholeBody 133 关键点模型的默认范式。Bottom-up自底向上先在整图上检测所有关键点再按人体结构做关联适合多人拥挤场景CrowdPose、AIC 这类数据集就是用它刷分的。RTMO一个检测头 关键点头共享特征的单阶段方案省掉了显式的检测-估计两步兼顾速度与精度适合实时多人场景。除范式外框架把骨干网络Backbone、编解码器Codec、损失函数、评估指标都拆成了可插拔组件。比如同一个 HRNet 骨干可以配SimCCLabel输出坐标分类、也可以配MSRAHeatmap输出热图组合成本模型——这也是配置系统configs 目录比代码里硬写结构更省心的原因。它覆盖的任务面也决定了你能拿它做什么任务方向典型数据集关键点规格2D 人体COCO、MPII、CrowdPose17 点WholeBody 全身COCO-WholeBody133 点身体 17 脸 68 双手 42 双脚 102D 手部OneHand10K、InterHand21 点2D 人脸300W、WFLW68 点3D 人体/手H36M、InterHand3D3D 坐标动物/时尚AnimalPose、DeepFashion2自定义一键安装步骤环境准备只需 4 条命令MMPose 支持 Linux / Windows / macOS要求Python 3.7、PyTorch 1.8。推荐用 MIMOpenMMLab 的包管理工具装依赖它能自动处理 mmcv、mmengine 之间的版本匹配git clone https://gitcode.com/GitHub_Trending/mm/mmpose cd mmpose pip install -r requirements.txt pip install -v -e .安装依赖要点创建独立 conda 环境Python 3.8 较稳再按 PyTorch 官方说明装好 GPU/CPU 版 PyTorchpip install -U openmim然后mim install mmengine、mim install mmcv2.0.1若要走检测 姿态全流程 Demo再加装mim install mmdet3.1.0版本对应关系mmpose 1.x ↔ mmcv 2.x ↔ mmdet 3.x混装 1.x 时代的 mmcv-full 会报错先卸载再装下载权重 跑通第一个 Demo验证安装是否成功最快的方式是官方推荐的两步走第 1 步用 MIM 一键拉取配置和权重mim download mmpose --config td-hm_hrnet-w48_8xb32-210e_coco-256x192 --dest .这条命令会同时下载.py配置文件和.pth权重文件比手动去 Model Zoo 页面找链接省事。第 2 步对仓库自带的测试图推理python demo/image_demo.py \ tests/data/coco/000000000785.jpg \ td-hm_hrnet-w48_8xb32-210e_coco-256x192.py \ td-hm_hrnet-w48_8xb32-210e_coco-256x192-0e67c616_20220913.pth \ --out-file vis_results.jpg \ --draw-heatmapvis_results.jpg里能看到骨架叠加图加--draw-heatmap还能额外画出模型预测的热图调试定位精度时很直观。更多参数关键点置信阈值、骨架样式等可参考 demo/image_demo.py。多人场景则换用带检测器的 Pipeline 脚本 demo/topdown_demo_with_mmdet.py同时传入检测器 姿态模型两对配置/权重即可python demo/topdown_demo_with_mmdet.py \ demo/mmdetection_cfg/rtmdet_m_640-8xb32_coco-person.py det权重 \ configs/body_2d_keypoint/rtmpose/coco/rtmpose-m_8xb256-420e_coco-256x192.py pose权重 \ --input data/test.jpg --bbox-thr 0.5模型怎么选RTMPose 与 RTMW 规格对照MMPose 里最值得关注的实时系列是RTMPose论文实证了范式、骨干、定位算法、训练策略五个维度后给出的工业级方案和它的全身版RTMW。选型时直接看下面两张表RTMPose 人体 17 关键点AICCOCO 训练型号COCO APCPU 延迟(ms, i7-11700)GPU 延迟(ms, GTX 1660Ti)参数量(M)t68.53.201.063.34s72.24.481.395.47m75.811.062.2913.59l76.518.853.4627.66l-384384x288 输入77.3-6.0527.79RTMW 全身 133 关键点Cocktail14 多数据集混合训练COCO-WholeBody val型号输入Body APFace APHand APWhole APrtmw-m256x1920.6760.7830.4910.582rtmw-l256x1920.7430.8340.5980.660rtmw-l384x2880.7610.8840.6630.701rtmw-x384x2880.7630.8840.6640.702选型经验移动端/浏览器t 或 s 级延迟 3~5msAP 损失可接受桌面 GPU 实时m 级是精度和速度的甜点位WholeBody 场景选 rtmw-l 256x192离线高精度直接上 384x288 输入Whole AP 从 0.660 提到 0.702 左右更多型号与下载方式见 configs/wholebody_2d_keypoint/rtmpose/ 和 projects/rtmpose/。能落地哪些场景1. 健身动作相似度打分全身 133 关键点让动作比对从关节级细化到手脚级。仓库里的 projects/just_dance/ 就是现成例子用关键点序列计算动作相似度并驱动小游戏改改骨骼定义就能迁移到教学、康复场景。2. 数字人/虚拟形象驱动人脸 68 点 身体 17 点组合后可直接喂给 3D 骨骼重定向流程。projects/mmpose4aigc/ 展示了与 AIGC 工具链如 OpenPose 格式输出的对接方式RTMPose 的蒸馏全身模型也被社区广泛用于生成式管线的姿态条件输入。3. 安防与行为分析多人场景下用 Bottom-up 或 RTMO 方案批量输出关键点跌倒检测、队列密度估计这类下游任务只需要把关键点的时序特征接进分类器即可不用再维护一套检测模型。进阶从训练到部署的调优清单用自定义数据微调MMPose 的完整工作流是 7 步推理验证 → 准备数据 → 改配置 → 浏览增强图 → 训练 → 测试 → 可视化核心命令只有两条python tools/train.py configs/your_config.py # 单卡训练 python tools/test.py configs/your_config.py work_dir/best_coco/AP_epoch_xxx.pth改配置前先用python tools/misc/browse_dataset.py config --mode transformed看一眼数据增强后的效果能避免训完了才发现裁剪框不对这类低级问题。数据集准备可参照 docs/en/dataset_zoo/2d_wholebody_keypoint.mdCOCO-WholeBody 评估需pip install xtcocotools。训练期框架已内置学习率 warmup/缩放、混合精度、多机多卡支持多卡训练直接bash tools/dist_train.sh GPU数 config。部署期通过 MMDeploy 导出 ONNX / TensorRT / ncnn 等 SDK 模型覆盖 Linux、Windows、Jetson、Android需要极致延迟时把检测频率设为隔帧Pipeline 默认每 5 帧检测一次人体框量化到 INT8 通常可再省一半以上显存/内存占用小结MMPose 用一套模块化框架把检测、估计、编解码、评估全链路打通配合 RTMPose/RTMW 系列模型让你今天就能在一张 GPU 上跑通 133 关键点的全身姿态估计。后续值得跟进的方向是 3D 全身重建RTMPose3D与 2D 到 3D 的提升链路。官方文档入口docs/en/index.rst快速上手指南docs/en/quick_run.md推理 APImmpose/apis/inference.py模型索引model-index.yml【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考