areal-project/AReaL
The RL Bridge for LLM-based Agent Applications. Made Simple & Flexible.
What it solves
AReaL は、基礎モデルのトレーニングとそれをエージェントアプリケーションとしてデプロイする間のギャップを埋めることを目的とした強化学習（RL）インフラストラクチャです。大規模な推論およびエージェントモデルのトレーニングに伴う非効率性と複雑性を解消し、開発者にとってよりアクセスしやすく、コスト効果の高いプロセスを実現します。
How it works
AReaL は、速度とスケーラビリティを最適化する完全非同期 RL トレーニングパラダイムを採用しています。バージョン 2.0 ではマイクロサービスアーキテクチャへ移行し、トレーニング、推論、エージェント実行、重み更新を独立したサービスに分割しました。GRPO、PPO、DPO など多数の RL アルゴリズムをサポートし、Megatron や PyTorch FSDP といった様々なトレーニングバックエンドと統合して、複数ノード・GPU にまたがる大規模モデルのトレーニングを実現します。
Who it’s for
大規模推論モデル、コードエージェント、検索エージェント、ビジョン・ランゲージモデル（VLM）を構築する AI 研究者や開発者向けで、高性能かつスケーラブルな RL トレーニングフレームワークが必要な方に最適です。
Highlights
- Asynchronous Training: Achieves industry-leading speed and stability in RL training, significantly reducing training time compared to synchronous systems.
- Microservice Architecture: Decouples training, inference, and agent services for better modularity and and scalability.
- Broad Algorithm Support: Implements a variety of cutting-edge RL algorithms including GRPO, GSPO, PPO, and DAPO.
- Agentic RL Flexibility: Allows seamless customization for black-box agent applications by simply replacing the
base_url. - Hardware Support: Supports training on NVIDIA GPUs and Huawei Ascend NPUs.
- Lightweight Version: Offers AReaL-lite for rapid prototyping and algorithm-first development.