real-stanford/umi-on-legs

What it solves

UMI on Legs は、アームを備えた四足歩行ロボットにおける全身制御器 (WBC) と操作ポリシーを統合することで、操作ポリシーに移動性を実現する方法を提供します。既存の視覚運動ポリシー (visuomotor policies) をロボット犬にプラグアンドプレイで適用できるため、ロボットはバランスと安定性を維持しながら操作タスクを実行できます。

How it works

このフレームワークは、現実世界の人間によるデモンストレーション (Universal Manipulation Interface 経由) と、シミュレーションで訓練された全身制御器を組み合わせます。システムは以下のコンポーネントで構成されています：

• Simulation Training: 全身制御器は、シミュレーション環境 (IsaacGym) で強化学習 (PPO) を用いて訓練されます。

• Real-World Deployment: 訓練された制御器は、iPhone odometry アプリケーションを使用して位置決めを行い、ARX5 SDK を使用してアーム制御を行います。

• UMI Integration: Universal Manipulation Interface を活用して、人間のデモンストレーションをロボットが実行可能な操作軌跡に変換します。

Who it’s for

具身 AI (embodied AI)、ロボティクス、特に操作スキルを移動式四足歩行プラットフォームに統合しようとしている研究者や開発者。

Highlights

• Plug-and-Play Mobility: 既存の視覚運動ポリシーを移動式四足歩行ロボットへ移行することを可能にします。

• Simulation-to-Real Transfer: 全身制御器の sim2real 転送を堅牢にするためのツールが含まれています。

• Modular Design: コードベースは、統合しやすいように、個別のサブモジュール (WBC simulation training, real-world deployment, iPhone odometry, ARX5 SDK) として構成されています。

• Comprehensive Hardware Guide: Unitree ロボットの組み立て、3D プリント、およびネットワーク設定に関する詳細なガイドを提供します。