Roboparty/UFO

解决的问题

UFO 提供了一个框架，用于训练人形机器人执行复杂动作，无需手动标记的奖励函数。它利用无监督强化学习，使 Unitree G1 和 RoboParty RP1 等机器人能够从运动数据中学习电机控制、跟踪和目标导向任务。

工作原理

该框架利用 mjlab 仿真环境，通过强化学习训练策略。它支持多种训练代理（FB 和 TeCH），并处理人形控制的复杂性，如接触力动力学和关节空间缩放。系统包含数据准备、多 GPU 训练以及将策略导出为 ONNX 格式以部署到物理硬件的工具。

适用对象

该项目面向从事具身智能和人形运动研究的机器人研究人员和工程师。它适用于需要可扩展、高性能训练流程，并能适应不同机器人形态和运动数据集的人群。

亮点

• 支持多种人形平台，包括 Unitree G1 和 RoboParty RP1。
• 实现高效的多 GPU 训练，具有融合 Adam 和分桶梯度同步等优化功能。
• 内置对跟踪、奖励推断和目标导向运动的支持。
• 提供现成的 ONNX 导出，用于在物理机器人上部署。
• 提供模块化架构，便于添加新的机器人配置和重定向运动数据。