verl-project/verl

verl/HybridFlow: A Flexible and Efficient RL Post-Training Framework

What it solves

verl은 대규모 언모델(LLM)을 위해 특별히 설계된 프로덕션 레디 RL(강화학습) 훈련 라이브러리입니다. 사후 훈련 정렬(post-training alignment)의 복잡성을 해결하여, 개발자가 최소한의 코드로 다양한 RL 알고리즘(PPO, GRPO 등)을 구현할 수 있게 하며, 대규모 GPU 클러스터에서 높은 처리량과 확장성을 유지합니다.

How it works

이 라이브러리는 계산과 데이터 의존성을 분리하는 하이브리드 컨트롤러 프로그래밍 모델(HybridFlow)을을 사용합니다. 이를 통해 다양한 LLM 인프라 구성 요소와 원활하게 통합됩니다:

  • Training Backends: FSDP, FSDP2, 및 Megatron-LM을 지원합니다.
  • Rollout Generation: vLLM, SGLang, 및 Hugging Face Transformers와 통합됩니다.
  • Resource Management: 유연한 디바이스 매핑을 사용하여 모델을 서로 다른 GPU 세트에 배치하여 최적의 리소스 소모를 최적화합니다.
  • Efficiency: 3D-HybridEngine을 채택하여 훈련과 생성 단계 사이의 전환 시 메모리 중복성과 통신 오버헤드를 줄입니다.

Who it’s for

LLM 사후 훈련을 수행하는 연구자 및 엔지니어를 대상으로 합니다. 특히 RLHF(Reinforcement Learning from Human Feedback)를 매우 큰 모델(최대 671B 파라미터)로 확장해야 하거나, 고급 추론 또는 멀티모달 RL을 구현하는 분들을 위한 것입니다.

Highlights

  • Algorithm Support: PPO, GRPO, GSPO, ReMax, RLOO 등을 즉시 사용할 수 있는 구현체를 제공합니다.
  • Broad Compatibility: 인기 있는 Hugging Face 모델(Qwen, Llama, Gemma, DeepSeek)과 호환되며 NVIDIA, AMD, 및 Ascend 하드웨어를 지원합니다.
  • Advanced Capabilities: 시각-언어 모델(VLMs), 멀티턴 툴 호출, 그리고 메모리 절약을 위한 LoRA RL을 지원합니다.
  • High Scalability: Expert parallelism과 Megatron-bridge를 통해 제한된 하드웨어에서 조 단위(trillion) 파라미터 모델로 확장할 수 있습니다.

관련

  • 프로젝트
    verl-project/verl-recipe

    대규모 언어 모델을 위한 강화학습 도구인 VeRL 라이브러리용 재현 가능한 "레시피"(예제 프로젝트) 모음입니다. 각 레시피는 `REQUIRED_VERL.txt` 파일로 특정 VeRL 버전을 고정하고, 도우미 스크립트(`install_verl.sh`)를 통해 일치하는 라이브러리를 자동 설치하고 실행할 수 있습니다. 데모로는 RL 기반 도구 사용, LangGraph 수학 에이전트, 싱글스트림 정책 최적화 등이 포함됩니다.

  • 프로젝트
    alibaba/ROLL

    대규모 GPU 클러스터에서 분산 Ray 기반 아키텍처를 사용하여 학습과 추론을 최적화하는 LLM용 효율적인 강화 학습 스케일링 라이브러리.

  • 프로젝트
    opendilab/LightRFT

    LightRFT는 대규모 언어 및 멀티모달 생성 모델의 미세 조정을 위한 오픈 소스 분산 강화 학습 프레임워크입니다. DeepSpeed, FSDP와 같은 학습 백엔드와 SGLang, vLLM과 같은 롤아웃 엔진을 통합하고, GRPO, REINFORCE++, DAPO 등 다양한 RL 알고리즘을 지원하며, 텍스트, 이미지, 비디오, 오디오 모달리티를 모두 지원합니다. 이 라이브러리는 즉시 실행 가능한 예제(예: Qwen2.5를 사용한 GSM8K), 광범위한 문서, Docker 이미지를 제공하여 RL 기반 정렬 파이프라인을 구축하는 연구자 및 엔지니어를 위한 데일리 작업에 적합합니다.

  • 프로젝트
    areal-project/AReaL

    AReaL은 대규모 추론 및 에이전트 모델을 훈련하기 위한 오픈 소스, 완전 비동기 강화 학습 프레임워크입니다. 모듈식 마이크로서비스, 다양한 RL 알고리즘, GPU, NPU 또는 Ray 클러스터에서 실행되며, 수십 가지의 즉시 실행 가능한 예제(수학, 코딩, 검색, 시각-언어, RLHF 등)를를 제공합니다.

  • 프로젝트
    Tencent-Hunyuan/UniRL

    UniRL은 통합 강화학습 루프를 다양한 멀티모달 생성 모델(LLM, 비전-언어 모델, 이미지/비디오 확산, 하이브리드 AR-확산 모델)에 적용하는 오픈소스 Python 프레임워크입니다. 4개의 엔트리 포인트, Hydra 기반 구성, 플러그인 가능한 롤아웃 엔진, Ray 및 FSDP를 통한 분산 학습을 제공합니다. 리포지토리에는 표준 RL 알고리즘과 팀이 제안한 3가지 새로운 방법(Flow-DPPO, DRPO, CPPO)의 튜토리얼이 포함되어 있습니다. 지원 모델에는 Stable Diffusion 3, FLUX.2-Klein, Qwen-3, HunyuanVideo 등이 있습니다. 문서, 예제 레시피, WeChat 커뮤니티가 제공됩니다. Apache-2.0 라이선스.