fan-ziqi/rl_sar

해결하는 문제

rl_sar는 다양한 로봇에서 강화학습(RL) 정책의 시뮬레이션 검증 및 실제 하드웨어 배포를 위한 통합 프레임워크를 제공합니다. 다양한 로봇 하드웨어, 시뮬레이터, 추론 엔진을 지원함으로써 시뮬레이션과 현실 사이의 격차("sim-to-real")를 메우며, RL 기반의 보행 및 댄스 기술을 실제 하드웨어에 배포하기 전에 시뮬레이션에서 테스트할 수 있도록 합니다.

작동 방식

이 프레임워크는 사전 훈련된 RL 정책(.pt 또는 .onnx 형식)을 읽어 로봇에서 실행하는 배포 레이어로 작동합니다. 여러 시뮬레이션 환경(Gazebo 및 MuJoCo)과 여러 통신 프로토콜(ROS Noetic, ROS2 Foxy/Humble, 하드웨어 배포용 독립 CMake 빌드)을 지원합니다.

주요 기술 구성 요소:

• 추론 엔진: libtorch와 onnxruntime를 사용하여 신경망을 실행합니다.
• 로봇 지원: Unitree A1, Go2, G1, Agibot D1 등 다양한 4족, 바퀴형, 히ュ먼로이드 로봇에 사전 구성된 지원을 제공합니다.
• 액추에이터 네트워크 훈련: 실제 모터 데이터를 기록하고 물리적 로봇의 동작을 더 잘 모델링하기 위해 액추에이터 네트워크를 훈련하는 도구를 포함합니다.
• 제어 인터페이스: 게임패드, 키보드, 실험용 모바일 웹 제어를 지원합니다.

대상 사용자

강화학습을 활용하는 로봇 연구자 및 엔지니어로서, 훈련된 정책을 실제 로봇에 표준화된 방식으로 배포하거나, 다양한 하드웨어 플랫폼에서 시뮬레이션에서 검증이 필요한 사람들을 위한 것입니다.

주요 특징

• 광범위한 하드웨어 호환성: 4족, 바퀴형 로봇, 히ュ먼로이드를 지원합니다.
• 다중 시뮬레이터 지원: IsaacGym, IsaacSim, Gazebo, MuJoCo와 호환됩니다.
• 유연한 배포: ROS 기반 및 비-ROS(CMake) 빌드 모두를 지원하여 하드웨어 직접 실행이 가능합니다.
• 크로스 플랫폼: Linux 및 macOS(MuJoCo만 지원)에서 작동합니다.
• 시뮬레이션에서 현실로의 도구: 실제 데이터를 사용해 액추에이터 네트워크를 훈련하는 전용 파이프라인을 포함합니다.