Open-X-Humanoid/HEX

解決的問題

HEX 解決了不同硬體平台上的全尺寸人形機器人全身操作的挑戰。它透過從異構數據源學習並跨不同的機器人具身（embodiments）遷移策略，使機器人能夠執行長程操作任務。

工作原理

HEX 是一個視覺-語言-動作 (VLA) 框架，使用 Qwen-VL 作為視覺和語言理解的骨幹網路。它採用統一本體感受預測器 (UPP) 將不同的機器人狀態對齊到共享的身體部位插槽，從而允許模型從多樣化的數據集中學習預測性的身體動力學。流匹配動作頭（flow-matching action head）預測手臂、手部和腰部的連續未來動作。為了保證穩定性，HEX 向處理腿部動作的低層基於 RL 的全身控制器提供高層指令。

適用對象

本專案面向從事人形機器人控制、跨具身學習以及視覺-語言-動作模型研究的機器人研究人員和開發人員。

亮點

• 跨具身能力：對齊異構的人形機器人狀態，實現跨不同平台（例如 Unitree G1, H1, Leju Kuavo）的策略遷移。
• 全身協同：將上半身和腰部的高層 VLA 預測與用於腿部穩定性的低層 RL 控制器相結合。
• 全面的數據支持：包含針對各種人形機器人平台的預訓練和微調程式碼。
• 仿真支持：可以在 LIBERO 等仿真環境中進行評估和訓練。