unitreerobotics/xr_teleoperate

解決する課題

このプロジェクトは、拡張現実（XR）デバイスを使用してUnitreeヒューマノイドロボットを遠隔操作するためのシステムを提供します。オペレーターはロボットの腕と器用な手をリアルタイムで制御でき、一人称視点での操作と、模倣学習に活用するための遠隔操作データの記録が可能です。

仕組み

システムは、XRヘッドセット（Apple Vision Pro、Meta Quest 3、PICO 4 Ultraなど）をホストコンピュータおよびロボットに接続します。Webベースのインターフェース（Vuer）とWebRTCを使用し、ロボットのヘッドカメラからオペレーターへ低遅延の画像ストリーミングを行います。オペレーターの動きはXRデバイスの手またはコントローラーのトラッキングを通じて追跡され、ロボットの自由度（DoF）にマッピングされた後、unitree_sdk2_pythonライブラリを介して制御コマンドとして送信されます。

対象者

Unitreeヒューマノイドロボット（G1、H1、H2、R1など）を所有しており、精密な遠隔操作や、AIトレーニング用の高品質なデモンストレーションデータの収集を行いたいロボット開発者および研究者。

特徴

• 幅広いハードウェアサポート: 複数のUnitreeヒューマノイドモデル（G1、H1、H2、R1）および器用な手（Dex1-1、Dex3-1、BrainCo）を含む様々なエンドエフェクタに対応。
• XR統合: 没入感のある一人称視点制御を実現するため、様々なハイエンドXRヘッドセットをサポート。
• データ収集: 模倣学習タスクのために遠隔操作のエピソードを保存する、組み込みの記録モードを搭載。
• 柔軟な制御モード: ハンドトラッキングとコントローラートラッキングの両方の入力モードに加え、没入型、一人称視点（ego）、パススルーの表示モードを提供。