HorizonRobotics/HoloMotion

解决的问题

HoloMotion 提供了一个用于人形机器人控制的端到端框架，使机器人能够跟踪复杂的人类动作并遵循从稀疏到全身的指令。它弥合了多样化动作捕捉数据（来自 VR、惯性或视觉源）与现实世界机器人执行之间的鸿沟，无需针对每个用户进行训练即可实现高性能的远程操作和动作模仿。

工作原理

该项目使用了基于参考条件的混合专家 (MoE) Transformer 架构。它通过其 HoloSMPL 模块将各种输入源标准化为共享的基于 SMPL 的表示。随后，HoloRetarget 组件将这些动作转换为特定的机器人参考。该系统支持实时推理，允许策略直接在机器人上或仿真中运行，根据全身运动序列或稀疏关键点指令（例如骨盆和手腕）来控制人形关节。

适用人群

该项目专为从事人形机器人运动、远程操作和全身控制的机器人研究人员和工程师设计。对于那些希望在 G1 人形机器人等硬件上部署预训练运动跟踪策略，或需要标准化流水线来处理机器人训练运动数据的人员特别有用。

亮点

• 统一流水线： 涵盖了从运动数据摄取和重定向到策略训练和真实机器人部署的整个工作流程。
• 高性能推理： 针对实时控制进行了优化，在机器人上可实现 300+ FPS，并支持序列级训练。
• 灵活控制： 在单一策略内支持多种指令模式，包括仅骨盆和多点关键点跟踪。
• 跨平台兼容性： 提供集成各种动作捕捉输入的工具，并支持在仿真环境和物理硬件上进行部署。