YanjieZe/GMR

[ICRA 2026] GMR: General Motion Retargeting. Retarget human motions into diverse humanoid robots in real time on CPU. Retargeter for TWIST.

解决的问题

GMR (General Motion Retargeting) 将从各种来源(如 SMPL-X、BVH、FBX 甚至单目视频)捕获的人类动作转换为人形机器人可以执行的关节指令。它解决了弥合人体运动与不同机器人模型的自由度和物理约束之间差距的问题,从而实现了机器人控制的遥操作和强化学习等应用。

工作原理

GMR 接收人类动作数据(每一帧包含身体各部位的全局平移和旋转),并通过考虑机器人特定结构的重定向过程,生成机器人动作数据(基座位置、基座旋转和关节角度)。它支持多种输入格式(例如来自 AMASS/OMOMO 的 SMPL-X、来自 LAFAN1/Nokov/Xsens 的 BVH、来自 OptiTrack 的 FBX,甚至 PICO 流)和多种人形机器人(支持 17+ 种)。输出可以在 MuJoCo 中可视化、录制为视频,或保存为 pickle 文件以供后续使用。该代码专为实时性能而设计,并针对强化学习跟踪策略进行了优化。

适用人群

从事人形机器人研究的研究人员、机器人专家和开发人员,他们需要将人类动作数据转换为机器人指令——无论是用于实时遥操作(如 TWIST/TWIST2 流水线)还是用于生成强化学习策略的训练数据。对于任何想要在不编写自定义转换代码的情况下使用现有的人类动作数据集测试新机器人的人来说,它也非常有用。

主要亮点

  • 实时高质量重定向,实现全身遥操作。
  • 经过精心调整,以获得良好的强化学习跟踪策略性能。
  • 支持 17+ 种人形机器人和多种动作数据格式(SMPL-X、BVH、FBX、Xsens 等)。
  • 只需更改一个参数即可轻松切换机器人。
  • 包含用于批处理、视频录制和转换为其他格式(例如用于 MimicKit 的 CSV)的工具。
  • 提供可通过 uv 或 conda/pip 在 Ubuntu 22.04/20.04 上运行的库和脚本。

相关

  • 项目
  • 项目
  • 项目
  • 项目