unitreerobotics/xr_teleoperate

解決的問題

本專案提供了一個使用擴展現實 (XR) 設備遠端操控 Unitree 人形機器人的系統。它允許操作人員即時控制機器人的手臂與靈巧手，提供第一人稱視角，並能夠記錄遠端操作數據以用於模仿學習。

工作原理

該系統將 XR 頭顯（如 Apple Vision Pro、Meta Quest 3 或 PICO 4 Ultra）連接到主機電腦與機器人。它使用基於 Web 的介面 (Vuer) 與 WebRTC，實現從機器人頭部攝影機到操作人員的低延遲影像串流。操作人員的動作透過 XR 設備的手部或控制器追蹤進行追蹤，然後映射到機器人的自由度 (DoF)，並透過 unitree_sdk2_python 函式庫作為控制指令發送。

適用對象

擁有 Unitree 人形機器人（如 G1、H1、H2 或 R1）並希望進行精確遠端控制或為 AI 訓練收集高品質演示數據的機器人開發人員與研究人員。

亮點

• 廣泛的硬體支援：相容多種 Unitree 人形機器人型號（G1、H1、H2、R1）以及包括靈巧手（Dex1-1、Dex3-1、BrainCo）在內的各種末端執行器。
• XR 整合：支援多種高端 XR 頭顯，實現沉浸式第一人稱控制。
• 數據採集：內建記錄模式，用於為模仿學習任務儲存遠端操作片段。
• 靈活的控制模式：提供手部追蹤與控制器追蹤兩種輸入模式，以及沉浸式、第一人稱 (ego) 與透視 (pass-through) 顯示模式。