Open-X-Humanoid/HEX

解决的问题

HEX 解决了在不同人形机器人平台上执行复杂、长时程全身操作的挑战。它通过将多样化的人形状态对齐为共享格式，解决了“本体差距”问题——即一台机器人的数据难以被另一台机器人使用——使单一策略能够在不同硬件之间转移。

运作方式

HEX 是一个视觉-语言-动作（VLA）框架，使用 Qwen-VL 作为视觉和语言理解的骨干。它采用两个专门组件来处理机器人动作：

1. 统一本体感觉预测器（UPP）： 将异质的人形身体状态对齐为共享的“身体部位槽”。
2. 流匹配动作头： 预测机器人手臂、手部和腰部的连续未来动作。

在部署时，HEX 负责上半身和腰部的高层协调，同时将高层指令传送给一个独立的低层强化学习控制器，该控制器管理腿部的稳定性和移动。

适用对象

从事人形机器人研究的研究人员和开发者，特别是专注于跨本体学习、全身控制和视觉-语言-动作模型的人。

亮点

• 跨本体转移： 从多个人形平台（例如 Unitree G1、H1、天工系列）的数据中学习预测性身体动力学。
• 全身协调： 整合视觉、语言和本体感觉，协调手臂、手部和腰部的动作。
• 广泛的数据集： 提供处理后的多本体预训练数据集和真实世界任务数据集。
• 混合控制架构： 结合高层 VLA 策略与低层 RL 控制器，实现稳定的人形操作。