real-stanford/umi-on-legs

What it solves

UMI on Legs는 팔이 장착된 4족 보행 로봇의 전신 제어기(WBC)와 조작 정책을 통합함으로써 조작 정책에 이동성을 부여하는 방법을 제공합니다. 사용자는 기존의 visuomotor policies를 로봇 개에 플러그 앤 플레이 방식으로 적용하여, 로봇이 균형과 안정성을 유지하면서 조작 작업을 수행할 수 있도록 합니다.

How it works

이 프레임워크는 실제 환경의 인간 시연(Universal Manipulation Interface를 통해)과 시뮬레이션에서 학습된 전신 제어기를 결합합니다. 시스템은 다음과 같은 구성 요소로 이루어져 있습니다:

• Simulation Training: 전신 제어기는 시뮬레이션 환경(IsaacGym)에서 강화 학습(PPO)을 사용하여 학습됩니다.

• Real-World Deployment: 학습된 제어기는 iPhone odometry 애플리케이션을 사용하여 위치를 잡고, ARX5 SDK를 사용하여 팔을 제어하며 실제 로봇에 배포됩니다.

• UMI Integration: Universal Manipulation Interface를 활용하여 인간의 시연을 로봇이 실행 가능한 조작 궤적으로 변환합니다.

Highlights

• Plug-and-Play Mobility: 기존의 visuomotor policies를 이동식 4족 보행 로봇으로 전환할 수 있게 합니다.

• Simulation-to-Real Transfer: 전신 제어기의 sim2real 전송을 견고하게 하기 위한 도구들을 포함합니다.

• Modular Design: 코드베이스는 다른 시스템에 쉽게 통합될 수 있도록 별도의 서브모듈(WBC simulation training, real-world deployment, iPhone odometry, ARX5 SDK)로 구성되어 있습니다.

• Comprehensive Hardware Guide: Unitree 로봇을 위한 상세한 조립, 3D 프린팅 및 네트워크 설정 가이드를 제공합니다.