MMPose 全身姿态估计实战:133 关键点 3 步跑通推理
【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose
把一段 3 秒的滑雪视频喂给 MMPose 的全身姿态估计模型,几秒后你能同时拿到 68 个面部点、42 个手指点、17 个身体关节和 10 个足部点,共 133 个关键点——而不是常见的 17 个躯干骨骼点。这套能力来自 MMPose 的 WholeBody 模块,用一套网络覆盖全脸、双手与足部,是实时视频流和多目标场景下做全身姿态推理的常用方案。
- 133 点覆盖范围
- 各模型精度与速度
- 3 步跑通推理
- 落地场景选型
- 常见避坑建议
核心能力速览
先看能直接落地的指标。下表取自仓库内的 COCO-WholeBody 验证集成绩与官方实测速度:
| 模型 | 输入尺寸 | Whole AP | 参考实测 |
|---|---|---|---|
| RTMPose-m | 256×192 | 0.582 | 90+ FPS (CPU) / 430+ FPS (GPU) |
| RTMPose-l | 256×192 | 0.611 | 130+ FPS |
| RTMPose-l | 384×288 | 0.648 | — |
| RTMW-x | 384×288 | 0.702 | — |
RTMPose-m 在单核 i7-11700 上可跑到 90+ FPS,在 GTX 1660 Ti 上达 430+ FPS,满足视频流实时要求;追求精度则选 384×288 输入或 RTMW-x。下面这张多人街景图,就是该模块一次推理同时定位两名全身的姿态结果。
原理拆解
从"一张图进、关键点出"的数据流看,整条链路分三段职责:
- 检测器负责"框人":输入整张图,由 MMDet 侧检测器输出人体 bbox,把多人画面切成单人 patch,这是多目标场景的入口。
- 姿态网络负责"画点":每个 bbox 缩放到 256×192 等固定输入,RTMPose 用 SIMCC 把坐标拆成两个分布回归,一次输出 133 点,面、手、足共用同一骨干特征。
- 可视化层负责"上色":
visualizer按skeleton_style连线、用kpt_thr过滤低置信点,输出带骨骼的图或 JSON 结果。
动手跑通
安装:克隆仓库并装依赖,pip install -v -e .以可编辑模式安装。
git clone https://gitcode.com/GitHub_Trending/mm/mmpose cd mmpose pip install -r requirements.txt pip install -v -e .推理:用 Inferencer 一条命令对tests/data/crowdpose下所有图做全身姿态推理,首次运行会自动拉取模型。
python demo/inferencer_demo.py tests/data/crowdpose \ --pose2d wholebody \ --vis-out-dir vis_results/crowdpose训练:换成自定义数据集时,只需替换配置里数据路径,一行启动。
python tools/train.py configs/wholebody_2d_keypoint/rtmpose/coco-wholebody/rtmpose-l_8xb64-270e_coco-wholebody-256x192.py落地场景
虚拟主播与数字人驱动
谁用:直播与虚拟形象团队。解决:用 68 个面部点加 42 个手部点驱动 3D 角色的口型与手势。RTMW-l 在 Cocktail14 上面部 AP 0.834、手部 AP 0.598,可离线批量复现口型对齐数据。
滑雪与健身动作分解
谁用:运动教学与教练工具。解决:用 10 个足部点定位支撑脚与重心偏移。RTMW-l 足部 AP 0.763,可量化落地角度偏差做动作纠错。
电商试穿与服装贴合
谁用:电商与虚拟试衣系统。解决:用躯干与关节点做虚拟衣服的形变贴合。RTMPose-l 身体 AP 0.695,关节点足够支撑布料锚点绑定。
进阶与延伸
- 💡 精度优先选 384×288 输入(Whole AP 0.648),速度优先用 256×192。
- ⚠️ 多人遮挡下手部 AP 明显下降,可先提高
--bbox-thr过滤误检框。 - 💡 无 GPU 时 Inferencer 加
--device cpu可跑通,仅实时性下降。
延伸资源:
- 文档总览:
docs/zh_cn/overview.md - 全身姿态 Demo:
demo/inferencer_demo.py - 数据集与标注格式:
docs/zh_cn/dataset_zoo/2d_wholebody_keypoint.md - RTMPose 模型库:
configs/wholebody_2d_keypoint/rtmpose/README.md - 推理 API:
mmpose/apis/inferencers/pose2d_inferencer.py
【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考