DaoyuanLi2816/mini-verl

해결하는 문제

mini-verl은 사용자가 PPO, GRPO, 그리고 온폴리시 디스틸레이션(OPD)과 같은 고급 강화학습(RL) 트레이닝 워크플로우를 단일 소비자용 NVIDIA GPU에서 실행할 수 있도록 합니다. 일반적으로 이러한 방법에 필요한 거대한 컴퓨팅 클러스터가 없어도 verl 설정과 트레이닝 레시피를 사용하고자 하는 개발자들에게 다리를 놓아줍니다.

작동 방식

이 프로젝트는 Actor, Critic, Reference, Reward, Teacher와 같은 다양한 역할이 클러스터에서 병렬로 실행되는 대신, 단일 GPU를 단계별로 공유하는 순차적 실행 모델을 구현합니다. 표준 verl 구성 트리와 Hydra 오버라이드를 지원하여, 로컬에서 트레이닝을 수행한 후 어댑터, 데이터셋, 구성 파일을 내보내어 더 큰 환경으로 확장할 수 있습니다.

대상 사용자

단일 GPU에서 로컬로 RL 트레이닝을 실험하고 싶은 개발자 및 연구자, 이미 verl을 사용하고 로컬 테스트 환경이 필요한 사용자, 소비자용 하드웨어에서 온폴리시 디스틸레이션 또는 보상 기반 트레이닝을 수행하고자 하는 사용자에게 적합합니다.

주요 특징

• 단일 GPU 효율성: RTX 4080과 같은 소비자용 하드웨어에서 GRPO 및 PPO와 같은 복잡한 RL 워크로드를 최적화하여 실행 가능.
• verl 호환성: verl 구성 프로파일과 오버라이드를 직접 지원.
• 정확한 복원: 체크포인트에서 트레이닝을 재개할 수 있으며, 모델, 옵티마이저, 데이터 위치, 난수 상태를 완전히 복원 가능.
• 유연한 트레이닝 레시피: PPO, GRPO, 온폴리시 디스틸레이션(OPD), SFT, DPO, 오프라인 KD를 지원.
• 내보낼 수 있는 결과물: 트레이닝된 어댑터, 보상 로그, 준비 보고서를 생성하여 더 큰 컴퓨팅 환경으로 쉽게 이관 가능.