NVlabs/ProtoMotions

解决的问题

ProtoMotions3 是一个为弥合动画与机器人学之间差距而设计的 GPU 加速框架。它提供了一个快速原型平台，用于训练物理模拟的数字人和人形机器人执行复杂运动技能，使研究人员能够从仿真中的大规模运动学习，顺利过渡到真实硬件部署。

工作原理

该框架利用 GPU 加速，实现大规模强化学习（RL）和运动模仿。支持多种物理引擎（NVIDIA Newton、IsaacLab、IsaacGym、MuJoCo 和 Genesis），并通过 PyRoki 提供运动数据重定向工具，将 AMASS 等人类数据集中的动作数据适配到特定机器人形态。采用模块化设计，控制、观测和奖励函数相互解耦，用户可轻松更换机器人、模拟器或强化学习算法。

适用人群

适用于机器人学、计算机动画和强化学习领域的研究人员和实践者，致力于开发人形控制策略。

主要亮点

• 快速运动学习：使用 4 块 A100 GPU，在 12 小时内完成对超过 40 小时人类动画数据（AMASS）的训练。
• 仿真到现实的部署管道：将策略导出为 ONNX 模型，实现零样本迁移至真实硬件，例如 Unitree G1 人形机器人。
• 跨模拟器测试：一键测试策略在不同物理引擎间的鲁棒性（Sim2Sim）。
• 可扩展架构：支持程序化场景生成、通过 MuJoCo XML 集成自定义机器人，以及生成式策略（如 MaskedMimic）。
• 文本到运动集成：兼容 NVIDIA 的 Kimodo 模型，支持从文本提示训练物理基础策略。