areal-project/AReaL
The RL Bridge for LLM-based Agent Applications. Made Simple & Flexible.
What it solves
AReaL은 강화 학습(RL) 인프라스트럭처로, 기본 모델 훈련과 이를 에이전트 애플리케이션으로 배포하는 사이의 격차를 메우기 위해 설계되었습니다. 대규모 추론 및 에이전트 모델 훈련의 비효율성과 복잡성을 해결하여 개발자가 보다 접근하기 쉽고 비용 효율적으로 작업할 수 있게 합니다.
How it works
AReaL은 속도와 확장성을 최적화하기 위해 완전 비동기 RL 훈련 패러다임을 사용합니다. 버전 2.0에서는 마이크로서비스 아키텍처로 전환하여 훈련, 추론, 에이전트 실행 및 가중치 업데이트를 독립 서비스로 분리했습니다. GRPO, PPO, DPO 등 다양한 RL 알고리즘을 지원하며, Megatron 및 PyTorch FSDP와 같은 다양한 훈련 백엔드와 통합해 다중 노드와 GPU에 걸친 대규모 모델 훈련을 처리합니다.
Who it’s for
대규모 추론 모델, 코딩 에이전트, 검색 에이전트, 비전-언어 모델(VLM)을 구축하는 AI 연구자와 개발자를 위해 설계되었으며, 고성능·확장 가능한 RL 훈련 프레임워크가 필요합니다.
Highlights
- Asynchronous Training: Achieves industry-leading speed and stability in RL training, significantly reducing training time compared to synchronous systems.
- Microservice Architecture: Decouples training, inference, and agent services for better modularity and and scalability.
- Broad Algorithm Support: Implements a variety of cutting-edge RL algorithms including GRPO, GSPO, PPO, and DAPO.
- Agentic RL Flexibility: Allows seamless customization for black-box agent applications by simply replacing the
base_url. - Hardware Support: Supports training on NVIDIA GPUs and Huawei Ascend NPUs.
- Lightweight Version: Offers AReaL-lite for rapid prototyping and algorithm-first development.