news 2026/9/20 17:08:04

MMPose 全身姿态估计实战:133 关键点 3 步跑通推理

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
MMPose 全身姿态估计实战:133 关键点 3 步跑通推理

MMPose 全身姿态估计实战:133 关键点 3 步跑通推理

【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose

把一段 3 秒的滑雪视频喂给 MMPose 的全身姿态估计模型,几秒后你能同时拿到 68 个面部点、42 个手指点、17 个身体关节和 10 个足部点,共 133 个关键点——而不是常见的 17 个躯干骨骼点。这套能力来自 MMPose 的 WholeBody 模块,用一套网络覆盖全脸、双手与足部,是实时视频流和多目标场景下做全身姿态推理的常用方案。

  • 133 点覆盖范围
  • 各模型精度与速度
  • 3 步跑通推理
  • 落地场景选型
  • 常见避坑建议

核心能力速览

先看能直接落地的指标。下表取自仓库内的 COCO-WholeBody 验证集成绩与官方实测速度:

模型输入尺寸Whole AP参考实测
RTMPose-m256×1920.58290+ FPS (CPU) / 430+ FPS (GPU)
RTMPose-l256×1920.611130+ FPS
RTMPose-l384×2880.648
RTMW-x384×2880.702

RTMPose-m 在单核 i7-11700 上可跑到 90+ FPS,在 GTX 1660 Ti 上达 430+ FPS,满足视频流实时要求;追求精度则选 384×288 输入或 RTMW-x。下面这张多人街景图,就是该模块一次推理同时定位两名全身的姿态结果。

原理拆解

从"一张图进、关键点出"的数据流看,整条链路分三段职责:

  1. 检测器负责"框人":输入整张图,由 MMDet 侧检测器输出人体 bbox,把多人画面切成单人 patch,这是多目标场景的入口。
  2. 姿态网络负责"画点":每个 bbox 缩放到 256×192 等固定输入,RTMPose 用 SIMCC 把坐标拆成两个分布回归,一次输出 133 点,面、手、足共用同一骨干特征。
  3. 可视化层负责"上色"visualizerskeleton_style连线、用kpt_thr过滤低置信点,输出带骨骼的图或 JSON 结果。

动手跑通

安装:克隆仓库并装依赖,pip install -v -e .以可编辑模式安装。

git clone https://gitcode.com/GitHub_Trending/mm/mmpose cd mmpose pip install -r requirements.txt pip install -v -e .

推理:用 Inferencer 一条命令对tests/data/crowdpose下所有图做全身姿态推理,首次运行会自动拉取模型。

python demo/inferencer_demo.py tests/data/crowdpose \ --pose2d wholebody \ --vis-out-dir vis_results/crowdpose

训练:换成自定义数据集时,只需替换配置里数据路径,一行启动。

python tools/train.py configs/wholebody_2d_keypoint/rtmpose/coco-wholebody/rtmpose-l_8xb64-270e_coco-wholebody-256x192.py

落地场景

虚拟主播与数字人驱动

谁用:直播与虚拟形象团队。解决:用 68 个面部点加 42 个手部点驱动 3D 角色的口型与手势。RTMW-l 在 Cocktail14 上面部 AP 0.834、手部 AP 0.598,可离线批量复现口型对齐数据。

滑雪与健身动作分解

谁用:运动教学与教练工具。解决:用 10 个足部点定位支撑脚与重心偏移。RTMW-l 足部 AP 0.763,可量化落地角度偏差做动作纠错。

电商试穿与服装贴合

谁用:电商与虚拟试衣系统。解决:用躯干与关节点做虚拟衣服的形变贴合。RTMPose-l 身体 AP 0.695,关节点足够支撑布料锚点绑定。

进阶与延伸

  • 💡 精度优先选 384×288 输入(Whole AP 0.648),速度优先用 256×192。
  • ⚠️ 多人遮挡下手部 AP 明显下降,可先提高--bbox-thr过滤误检框。
  • 💡 无 GPU 时 Inferencer 加--device cpu可跑通,仅实时性下降。

延伸资源:

  • 文档总览:docs/zh_cn/overview.md
  • 全身姿态 Demo:demo/inferencer_demo.py
  • 数据集与标注格式:docs/zh_cn/dataset_zoo/2d_wholebody_keypoint.md
  • RTMPose 模型库:configs/wholebody_2d_keypoint/rtmpose/README.md
  • 推理 API:mmpose/apis/inferencers/pose2d_inferencer.py

【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/20 17:05:38

VSM价值流程图图标PPT制作:从图标语义到排版实战

简介:一套面向精益生产管理、工业工程与流程优化从业者的价值流程图(VSM)图标素材,适用于绘制现状/目标价值流图、开展浪费分析与改善提案展示。包内仅含1个PPT文件,大小约656KB,图标按材料流、信息流和通用…

作者头像 李华
网站建设 2026/9/20 17:04:21

网盘直链下载助手全解:9 大网盘真实下载地址快速获取指南

网盘直链下载助手全解:9 大网盘真实下载地址快速获取指南 【免费下载链接】Online-disk-direct-link-download-assistant 一个基于 JavaScript 的网盘文件下载地址获取工具。基于【网盘直链下载助手】修改 ,支持 百度网盘 / 阿里云盘 / 中国移动云盘 / 天…

作者头像 李华
网站建设 2026/9/20 17:03:09

振动监测加速度振级与三分之一倍频程计算:从原始波形到工程报告

简介:这是一个面向机械工程、声学研究及设备状态监测人员的MATLAB振动分析工具包,围绕加速度级dB、加速度振级与三分之一倍频程振级展开,解决从时域加速度数据到加权振级转换与频谱分析的实际问题。包体共2个文件,均为.m脚本&…

作者头像 李华
网站建设 2026/9/20 17:03:05

NLP面试八股文精讲:从Word2Vec到Transformer与LLM

简介:面向自然语言处理(NLP)岗位求职者的一站式八股面试题解,聚焦大模型时代的必考知识点。内容涵盖主流开源模型体系(GPT、BERT、XLNet、RoBERTa、T5)、FFN与各类激活函数、Prefix LM与Causal LM的区别、涌…

作者头像 李华