amazon-far/TWIST2

解决的问题

TWIST2 解决了为人形机器人收集高质量、可扩展且具备可移植性数据的困难。它提供了一个系统来弥合人类动作与机器人执行之间的差距，从而在模拟和现实环境中实现高效的远程操作与数据收集。

运作原理

该系统将高阶动作控制与低阶机器人执行分开。

1. 高阶控制：人类动作通过 PICO VR 头戴式设备（在线远程操作）或离线动作数据集进行捕捉与串流。
2. 动作重定向：使用通用动作重定向 (GMR) 系统将人类动作映射到机器人的形态。
3. 低阶控制：训练有素的基于 RL 的通用动作追踪器（学生策略）执行重定向后的动作。此策略导出为 ONNX 模型以进行高效部署。
4. 通讯：使用 Redis 服务器来处理高阶动作串流与低阶控制器之间的通讯。

适用对象

从事人形机器人研究的研究人员与工程师，特别是专注于模仿学习、sim-to-real 迁移以及大规模人形机器人数据收集的领域。

特点

• 全方位数据收集：支持模拟 (sim2sim) 与实体机器人 (sim2real) 部署。
• VR 远程操作：整合 PICO VR 头戴式设备，实现实时的人机控制。
• 模块化架构：将高阶动作串流与低阶 RL 策略解耦。
• 硬件支持：专为 Unitree G1 人形机器人设计并经过测试。