RLinf/RLinf

해결하는 문제

RLinf는 강화 학습(RL) 모델 훈련을 위한 확장 가능하고 유연한 인프라를 제공하며, 특히 구현 AI(로봇 공학)와 에이전트 AI를 대상으로 합니다. 데이터 수집, 지도 미세 조정(SFT), RL 훈련, 배포를 위한 통합 백본을 제공하여 시뮬레이션과 실제 세계 간의 격차를 메웁니다.

작동 방식

RLinf는 다양한 하드웨어(NVIDIA, AMD, Huawei Ascend, Moore Threads, Biren GPU)와 소프트웨어 생태계(PyTorch)를 지원하는 강력한 훈련 백본 역할을 합니다. 하드웨어, 작업, 롤아웃 래퍼를 관리하기 위한 통합 로봇 인터페이스를 구현합니다. 시스템은 다음을 포함한 다양한 훈련 패러다임을 지원합니다:

• VLA(비전-언어-행동) 훈련: 다양한 아키텍처와 시뮬레이터에서 VLA 모델을 위한 확장 가능한 RL 훈련.
• 실제 세계 통합: 물리적 로봇을 온라인 정책 학습을 위한 일급 리소스로 취급합니다.
• 시스템 최적화: DynaRL을 사용한 동적 컴퓨팅 재할당 및 FUSCO를 사용한 MoE 통신 가속화와 같은 기술을 사용하여 훈련 처리량을 향상시킵니다.
• 월드 모델 통합: 월드 모델을 시뮬레이터로 사용한 RL 미세 조정을 지원합니다.

대상 사용자

구현 지능, 로봇 제어, 자율 에이전트를 연구하는 AI 연구자와 엔지니어를 위해 설계되었으며, 모델을 시뮬레이션에서 실제 하드웨어로 이동할 수 있는 고성능 프레임워크가 필요합니다.

주요 특징

• 광범위한 하드웨어 지원: NVIDIA 외에도 ROCm, CANN, MUSA를 포함한 여러 GPU 공급업체와 호환됩니다.
• 심층 로봇 통합: Isaac Lab v3.0.0에서 공식 채택되었으며 Franka 및 XSquare Turtle2와 같은 다양한 로봇을 지원합니다.
• 다양한 RL 지원: GRPO, SAC, IQL, DAgger를 구현하며 VLA 모델의 SFT 및 RL 미세 조정을 지원합니다.
• 성능 최적화: 시스템 수준 최적화를 통해 시뮬레이터(예: BEHAVIOR에서 25배)에서 상당한 속도 향상을 달성합니다.