alibaba/ROLL

An Efficient and User-Friendly Scaling Library for Reinforcement Learning with Large Language Models

📚 ROLL이란?

ROLL(Reinforcement Learning Optimization for Large‑Scale Learning)은 수십 또는 수백 개의 GPU 규모에서 강화 학습(RL) 기술을 사용하여 **대규모 언어 모델(LLM)**을 훈련할 수 있는 오픈소스 라이브러리입니다. 두 가지 주요 사용 사례에 중점을 둡니다:

사용 사례	기능	일반적인 작업
RL 기반 미세 조정(RLVR)	수학, 코딩, 추론, 지시 따르기 등을 위해 LLM에서 RL 스타일의 "보상 모델 → 정책" 루프를 실행합니다.	LLM을 인간의 선호에 맞추고, 추론을 개선하고, 더 높은 품질의 답변을 생성합니다
에이전트 RL	환경(게임, 도구 사용, 대화)과 여러 턴에 걸쳐 상호 작용하는 LLM을 훈련합니다.	다중 턴 게임, 도구 사용 에이전트, 대화형 어시스턴트

이 라이브러리는 대규모 GPU 클러스터(또는 Ascend NPU)에서 작동하도록 구축되었으며 분산 훈련의 엔지니어링 복잡성을 숨깁니다.

🚀 핵심 기능(쉬운 언어로)

기능	중요성
Ray 기반 다중 역할 아키텍처 – RL 루프의 다른 부분(액터, 러너, 보상 모델, 롤아웃 워커)이 독립적인 Ray 액터로 실행되므로 코드를 다시 작성하지 않고도 단일 노드에서 수천 개의 GPU로 확장할 수 있습니다.
백엔드 유연성 – Megatron‑Core, vLLM, SGLang, FSDP2 및 LoRA에 대한 플러그인 지원. 가장 빠른 추론 엔진(vLLM, SGLang)과 가장 메모리 효율적인 훈련 전략(Megatron 5‑D 병렬, FSDP2)을 선택할 수 있습니다.
비동기 병렬 롤아웃 – 롤아웃(환경 단계)과 보상 계산이 병렬로 실행되어 GPU를 계속 사용하고 유휴 시간을 줄입니다.
풍부한 RL 알고리즘 라이브러리 – PPO, GRPO, Reinforce++, TOPR, RAFT++, GSPO, StarPO, GiGPO 등의 즉시 사용 가능한 구현과 보상 클리핑, 정규화, 이점 추정 등을 위한 구성 가능한 "전략" 시스템.
에이전트 전용 도구 – 단계별(GiGPO) 및 궤적별(StarPO) 훈련, 도구 사용 환경, 다중 턴 상호 작용의 로컬 디버깅을 지원합니다.
하드웨어에 구애받지 않음 – NVIDIA GPU, AMD GPU(Docker 이미지 제공) 및 Alibaba Ascend NPU에서 작동합니다.
관측 가능성 – SwanLab, Weights & Biases, TensorBoard에 대한 내장 로깅. 도메인별 및 보상별 메트릭이 자동으로 추적됩니다.
체크포인트 및 재개 – 모델, 옵티마이저 및 Ray 상태를 자동 저장하여 긴 작업을 일시 중지하고 계속할 수 있습니다.

🛠️ 시작하기(빠른 개요)

설치 – 온라인 문서를 따르세요. AMD GPU용 Docker 이미지를 사용할 수 있으며, 그 외에는 pip 및 Ray로 설치합니다.
백엔드 선택 – 전체 규모 훈련에는 Megatron‑Core, 롤아웃 중 빠른 추론에는 vLLM/SGLang을 선택합니다.
구성 작성 – ROLL은 계층적 YAML 구성 시스템을 사용합니다. 모델(예: qwen3.5-35B), RL 알고리즘(예: ppo), 리소스 매핑 및 특수 옵션(LoRA, FP8 롤아웃 등)을 지정합니다.
파이프라인 실행 – 제공된 스크립트 중 하나를 사용합니다. 예:
```
python run_rlvr.py --config examples/qwen2.5-7B-rlvr_megatron/rlvr_config.yaml
```
agentic, distill, dpo 파이프라인에도 유사한 스크립트가 있습니다.
모니터링 – WandB/TensorBoard 대시보드를 열어 보상 곡선, 처리량 및 GPU 사용률을 확인합니다.
재개 – 작업이 중지되면 동일한 명령을 다시 실행하세요. ROLL은 최신 체크포인트에서 다시 시작합니다.

📖 문서 및 커뮤니티

공식 문서 – https://alibaba.github.io/ROLL/(설치, 구성 시스템, 디버깅 가이드, 파이프라인 튜토리얼).
논문 및 기술 보고서 – 여러 arXiv 논문(예: Asymmetric PPO, RollPacker, Agentic Crafting on Rock and Roll)이 알고리즘과 성능 향상을 설명합니다.
Slack/WeChat – 저장소의 QR 코드로 커뮤니티 채팅에 참여할 수 있습니다.
GitHub – 이슈가 적극적으로 분류되며, 저장소는 200개 이상의 별과 빈번한 릴리스를 보유하고 있습니다.

🎯 ROLL을 사용해야 하는 사람은?

연구 실험실 – 대규모 RL 기반 LLM 정렬 또는 다중 턴 에이전트 훈련을 실험해야 하는 경우.
산업 팀 – 대규모 RL 미세 조정이 필요한 LLM 기반 어시스턴트, 코드 생성 도구 또는 게임 플레이 에이전트를 구축하는 경우.
엔지니어 – 분산 시스템 배관이 아닌 보상 모델이나 환경에 집중할 수 있도록 기성품 Ray 기반 스캐폴딩을 원하는 경우.

📌 결론

ROLL은 대규모 언어 모델을 위한 프로덕션 등급의 고도로 구성 가능한 RL 프레임워크입니다. 분산 훈련의 무거운 작업을 추상화하고, 광범위한 RL 알고리즘을 지원하며, 다양한 하드웨어 백엔드에서 작동합니다. 강화 학습을 통해 LLM을 정렬하거나 가르쳐야 하는 경우(특히 다중 턴, 도구 사용 또는 대규모 설정에서) ROLL은 견고한 오픈소스 기반을 제공합니다.