areal-project/AReaL

AReaL – 대규모 비동기 강화 학습 시스템

What it is AReaL은 대규모 강화 학습 (RL) 에이전트를 훈련하기 위한 오픈 소스 프레임워크입니다. Tsinghua University와 Ant Group의 연구원들이 개발하였으며, fully asynchronous (완전 비동기) 훈련에 초점을 맞추고 있습니다. 이는 많은 워커(workers)가 서로를 기다리지 않고 경험을 데이터를 생성하고 모델 가중치를 업데이트할 수 있게 합니다. 이 설계는 특히 대규모 추론 또는 에이전트 모델을 훈련할 때 더 높은 처리량과 더 낮은 비용을 실현합니다.

Core strengths | Feature | Why it matters | |---|---|| | Flexibility | base_url을 변경하는 것만으로 OpenAI Agents, CAMEL-AI, custom APIs와 같은 모든 블랙박스 에이전트를 플러그인할 수 있습니다.| | Scalability | 비동기 파이프라인은 여러 GPU 또는 Ray 클러스터에서 실행되며, Megatron, PyTorch FSDP, 그리고 Huawei Ascend NPU 백엔드를 지원합니다.| | Performance | 동기식 기준선 대비 최대 2.8x의 속도 향상을 보고하였으며, 수학, 코딩, 검색, 고객 서비스 업무에서 SOTA (state-of-the-art) 결과를 보여줍니다.| | Modular services (AReaL 2.0) | 훈련, 추론, 에이전트, 가중치 업데이트는 별도의 마이크로서비스입니다. 이는 GCP, AWS, Kubernetes via SkyPilot을 통한 클라우드 배포포를 매우 단순화합니다.|

Key algorithms (all have async and sync modes): GRPO, GSPO, PPO, DAPO, LitePPO, Dr-GRPO, REINFORCE++, RLOO, SAPO, IcePop, KPop, M2PO, DPO, RLHF reward modeling, SFT, distillation, etc.

Typical workloads

• Math & reasoning – GSM8K, multi-turn math, countdown games, LoRA-efficient training.
• Agentic RL – General agents, online RL loops (Hermes), coding agents (SWE), search agents, tool-integrated reasoning, OpenAI Agents, CAMEL-AI.
• Vision-language – Geometry3K, CLEVR-Count with Qwen-VL models, NPU-accelerated VLM training.
• Alignment – Reward modeling for RLHF, distillation pipelines. | Cloud / edge deployment – SkyPilot integration, NPU support.

Getting started (from the README)

# clone and install
git clone https://github.com/areal-project/AReaL && cd AReaL
pip install uv
# install flash-attention wheel (choose matching wheel)
uv pip install "https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.7.16/flash_attn-2.8.3+cu128torch2.9-cp312-cp312-linux_x86_64.whl"
uv sync --extra cuda   # adds training packages + SGLang (default inference backend)
# single-node run (GSM8K math example)
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

Ray 클러스터의 경우, cluster.n_nodes, cluster.n_gpus_per_node, 그리고 공유 저장소 경로를 추가한 후 scheduler.type=ray로 설정하십시오.

Documentation & community

• Full docs: https://areal-project.github.io/AReaL/
• 중국어 문서, WeChat group, 그리고 커뮤니티 미팅 녹화본은 repo에 링크되어 있습니다.
• Hugging Face (🤗 Models & Data)의 모델 & 데이터 컬렉션.
• 최근 릴리스에는 AReaL 2.0 (마이크로서비스 아키텍처) 및 AReaL-lite (경량화 버전)가 포함됩니다.

Who should use it 대규모 RL 에이전트를 구축하는 연구자 및 엔지니어—특히 비동기 파이프라인, 멀티-GPU/NPU 스케일링, 또는 기존 LLM 백엔드와의 통합이 필요한 경우—는 AReaL을 많은 예제 레시피피를 제공하는 즉시 실행 가능한 플랫폼으로 활용할 수 있습니다.