PrimeIntellect-ai/prime-rl

Agentic RL Training at Scale

해결하는 문제

prime-rl은 대규모 에이전트 학습을 위한 강화학습(RL)의 확장성 문제를 해결합니다. 개발자가 수천 개의 GPU에 걸쳐 거대한 모델(1T 이상 파라미터)을 훈련할 수 있도록 하며, 빠른 실험을 위한 모듈화되고 '해킹 가능한' 설계를 유지합니다.

작동 방식

이 프레임워크는 최대의 처리량을 위해 완전히 비동기적인 RL 아키텍처를 사용합니다. 대규모 훈련 및 추론을 위해 여러 고성능 기술을 통합합니다:

  • 훈련 및 추론: 훈련에는 FSDP2를, 추론에는 vLLM을 사용하며, FP8 정밀도, 전문가 병렬화(EP), 컨텍스트 병렬화(CP)를 포함합니다.
  • 배포: Slurm을 통해 멀티노드 배포를 지원하며, P/D 분리 및 KV 오프로딩과 같은 고급 구성도 가능합니다.
  • 파이프라인: Supervised Fine-Tuning(SFT), RL 훈련, 평가를 포함하는 엔드투엔드 포스트트레이닝 파이프라인을 제공합니다.
  • 통합: 에이전트 및 소프트웨어 공학(SWE) 환경을 위한 Environments Hub와 verifiers와 네이티브로 연동됩니다.

대상 사용자

전면 모델을 개발하는 AI 연구자 및 엔지니어를 위한 것으로, 특히 MoE(Mixture-of-Experts) 또는 밀도형 모델에 대한 대규모 RL 포스트트레이닝이 필요하거나, VLM(Vision-Language Models)을 훈련하는 분들을 대상으로 합니다.

주요 특징

  • 거대한 확장성: 1T 이상의 MoE 모델을 1000개 이상의 GPU에서 훈련 가능.
  • 광범위한 모델 지원: GLM, Qwen, Nemotron 및 기타 주요 MoE 패밀리에 대한 네이티브 지원.
  • 다중 모달 기능: Qwen3.5와 같은 VLM의 훈련을 지원.
  • 유연한 배포: 복잡한 전면 모델 설정을 단일 Slurm 명령어로 배포 가능.
  • 포괄적인 도구 세트: SFT, RL, 평가를 하나의 프레임워크 내에서 네이티브로 지원.

관련

  • 프로젝트
    ServiceNow/PipelineRL

    GPU 활용도를 극대화하면서도 온폴리시 데이터의 최신성을 유지하기 위해 실시간 가중치 업데이트를 활용하는 확장 가능한 비동기 강화학습 프레임워크.

  • 프로젝트
    alibaba/ROLL

    ROLL은 대규모 강화 학습 훈련을 위한 오픈소스 라이브러리로, 대규모 언어 모델을 훈련합니다. Ray 기반 분산 실행을 제공하며, 다양한 RL 알고리즘(PPO, GRPO, Reinforce++ 등)을 지원하고, Megatron‑Core, vLLM, SGLang, LoRA와 함께 작동하며, RL 기반 미세 조정(RLVR) 및 다중 턴 에이전트 RL을 위한 파이프라인을 제공합니다. 이 프로젝트에는 광범위한 문서, 하드웨어에 구애받지 않는 지원(NVIDIA, AMD, Ascend) 및 내장된 관측 가능성이 포함되어 있습니다.

  • 프로젝트
    verl-project/verl

    LLM을 위한 유연하고 효율적인 RL 훈련 라이브러리로, RLHF 알고리즘 구현을 단순화하고 조 단위(trillion) 파라미터 모델로 확장 가능합니다.

  • 프로젝트
    Tencent-Hunyuan/UniRL

    UniRL은 Apache‑2.0 Python 프레임워크로, 많은 멀티모달 생성 모델(확산, 비디오, LLM, VLM, 통합 AR+확산)에 단일 강화 학습 루프를 적용합니다. 구성 가능한 트레이너, 여러 롤아웃 백엔드(vLLM‑Omni, SGLang), 표준 및 새로운 RL 알고리즘(GRPO, Flow‑DPPO, DRPO, CPPO), 그리고 수십 개의 최첨단 모델에 대한 실행 준비된 레시피를 제공합니다. 사용자는 Hydra 구성을 통해 훈련을 시작하고, 시스템은 분산 롤아웃, 점수 계산, 이점 계산 및 가중치 동기화를 처리합니다.

  • Dispatch
    토큰 흐름을 유지하기: 16개의 오픈소스 RL 라이브러리에서 얻은 교훈

    Hugging Face는 16개의 오픈소스 RL 라이브러리를 조사했으며, 비동기 RL 훈련이 추론과 훈련을 서로 다른 GPU 풀로 분리하고, 롤아웃 버퍼를 사용하며, 가중치를 비동기적으로 푸시한다는 점을 발견했으며, Ray가 오케스트레이션을 주도하고 NCCL 브로드캐스트가 일반적인 가중치‑동기화 방법이라는 사실을 확인했습니다.