Roboparty/UFO

해결하는 문제

UFO는 수동으로 라벨링된 보상 함수 없이 휴머노이드 로봇이 복잡한 동작을 수행하도록 훈련하는 프레임워크를 제공합니다. 비지도 강화 학습을 사용하여 Unitree G1 및 RoboParty RP1과 같은 로봇이 모션 데이터에서 모터 제어, 추적 및 목표 지향 작업을 학습할 수 있게 합니다.

작동 방식

이 프레임워크는 mjlab 시뮬레이션 환경을 활용하여 강화 학습으로 정책을 훈련합니다. 여러 훈련 에이전트(FB 및 TeCH)를 지원하며 접촉력 역학 및 관절 공간 스케일링과 같은 휴머노이드 제어의 복잡성을 처리합니다. 시스템에는 데이터 준비, 멀티 GPU 훈련 및 물리적 하드웨어에 배포하기 위한 ONNX 형식으로 정책을 내보내는 도구가 포함되어 있습니다.

대상 사용자

이 프로젝트는 구현 지능 및 휴머노이드 보행을 연구하는 로봇 연구자와 엔지니어를 위해 설계되었습니다. 다양한 로봇 형태와 모션 데이터 세트에 적응할 수 있는 확장 가능하고 고성능의 훈련 파이프라인이 필요한 사람들을 대상으로 합니다.

주요 기능

• Unitree G1 및 RoboParty RP1을 포함한 여러 휴머노이드 플랫폼을 지원합니다.
• 융합 Adam 및 버킷화된 그래디언트 동기화와 같은 최적화된 기능으로 효율적인 멀티 GPU 훈련을 구현합니다.
• 추적, 보상 추론 및 목표 지향 이동에 대한 내장 지원을 제공합니다.
• 물리적 로봇에 배포하기 위한 즉시 사용 가능한 ONNX 내보내기를 제공합니다.
• 새로운 로봇 구성 및 리타겟팅된 모션 데이터를 추가하기 위한 모듈식 아키텍처를 제공합니다.