NVlabs/ProtoMotions

解決的問題

ProtoMotions3 是一個為彌合動畫與機器人學之間差距而設計的 GPU 加速框架。它提供了一個快速原型平台，用於訓練物理模擬的數位人與人形機器人執行複雜運動技能，使研究人員能從模擬中的大規模運動學習，順利過渡到真實硬體部署。

工作原理

該框架利用 GPU 加速，實現大規模強化學習（RL）與運動模仿。支援多種物理引擎（NVIDIA Newton、IsaacLab、IsaacGym、MuJoCo 與 Genesis），並透過 PyRoki 提供運動資料重定向工具，將 AMASS 等人類資料集中的動作資料適配到特定機器人形態。採用模組化設計，控制、觀測與獎勵函數相互解耦，使用者可輕鬆更換機器人、模擬器或強化學習演算法。

適用對象

適用於機器人學、電腦動畫與強化學習領域的研究人員與實務者，致力於開發人形控制策略。

主要亮點

• 快速運動學習：使用 4 塊 A100 GPU，在 12 小時內完成對超過 40 小時人類動畫資料（AMASS）的訓練。
• 仿真到現實的部署管道：將策略匯出為 ONNX 模型，實現零樣本遷移至真實硬體，例如 Unitree G1 人形機器人。
• 跨模擬器測試：一鍵測試策略在不同物理引擎間的韌性（Sim2Sim）。
• 可擴展架構：支援程式化場景生成、透過 MuJoCo XML 集成自訂機器人，以及生成式策略（如 MaskedMimic）。
• 文本到運動整合：相容 NVIDIA 的 Kimodo 模型，支援從文字提示訓練物理基礎策略。