real-stanford/umi-on-legs

What it solves

UMI on Legs 提供了一种方法，通过将操作策略与配备手臂的四足机器人上的全身控制器 (WBC) 集成，使操作策略具备移动能力。它允许用户将现有的视觉运动策略 (visuomotor policies) 即插即用地应用于机器人狗上，使机器人在保持平衡与稳定性的同时，能够执行操作任务。

How it works

该框架结合了现实世界的人类演示（通过 Universal Manipulation Interface）与在模拟环境中训练的全身控制器。系统由以下几个组件构成：

• Simulation Training: 全身控制器使用强化学习 (PPO) 在模拟环境 (IsaacGym) 中进行训练。

• Real-World Deployment: 训练好的控制器被部署到真实机器人上，利用 iPhone odometry 应用进行定位，并使用 ARX5 SDK 进行手臂控制。

• UMI Integration: 它利用 Universal Manipulation Interface 将人类演示转换为机器人可执行的操作轨迹。

Who it’s for

研究人员和开发者，致力于具身智能 (embodied AI)、机器人技术，特别是那些寻求将操作技能与移动式四足平台集成的研究人员和开发者。

Highlights

• Plug-and-Play Mobility: 使现有的视觉运动策略能够迁移到移动式四足机器人上。

• Simulation-to-Real Transfer: 包含用于增强全身控制器 sim2real 迁移的鲁棒性工具。

• Modular Design: 代码库被组织为独立的子模块（WBC simulation training, real-world deployment, iPhone odometry, 以及 ARX5 SDK），以便于集成到其他系统中。

• Comprehensive Hardware Guide: 为 Unitree 机器人提供详细的组装、3D 打印和网络设置指南。