real-stanford/umi-on-legs
UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers
What it solves
UMI on Legs 提供了一種方法，透過將操作策略與配備手臂的四足機器人上的全身控制器 (WBC) 整合，使操作策略具備移動能力。它允許使用者將現有的視覺運動策略 (visuomotor policies) 即插即用至機器人狗上，使機器人在保持平衡與穩定性的同時，能夠執行操作任務。
How it works
該框架結合了真實世界的實人示範（透過 Universal Manipulation Interface）與在模擬環境中訓練的全身控制器。系統由以下幾個組件構成：
- Simulation Training: 全身控制器使用強化學習 (PPO) 在模擬環境 (IsaacGym) 中進行訓練。
- Real-World Deployment: 訓練好的控制器被部署到真實機器人上，利用 iPhone odometry 應用程式進行定位，並使用 ARX5 SDK 進行手臂控制。
- UMI Integration: 它利用 Universal Manipulation Interface 將人類示範轉換為機器人可執行的操作軌跡。
Who it’s for
研究人員與開發者，特別是從事具身智能 (embodied AI)、機器人技術，以及尋求將操作技能與移動式四足平台整合的研究人員與開發者。
Highlights
- Plug-and-Play Mobility: 使現有的視覺運動策略能夠轉移至移動式四足機器人。
- Simulation-to-Real Transfer: 包含用於強化全身控制器 sim2real 轉移的魯棒性工具。
- Modular Design: 程式碼庫被組織成獨立的子模組（WBC simulation training, real-world deployment, iPhone odometry, 以及 ARX5 SDK），以便於整合至其他系統。
- Comprehensive Hardware Guide: 為 Unitree 機器人提供詳細的組裝、3D 列印與網路設定指南。"},
相關
- 專案
- 專案
- 專案
- 專案
- 專案