areal-project/AReaL

解決する課題

AReaLは、基盤モデルのトレーニングと複雑なエージェントAIアプリケーションの開発との間のギャップを埋めるために設計されたインフラストラクチャです。完全に非同期な強化学習 (RL) パラダイムを活用することで、推論モデルやエージェントベースのモデルに対する効率的でスケーラブル、かつ費用対効果の高いトレーニング手法のニーズに応えます。

仕組み

AReaLは、トレーニングパイプラインの主要コンポーネント（トレーニング、推論、エージェント実行、重み更新）を分離するマイクロサービスベースのアーキテクチャとして動作します。非同期RLアプローチを採用することで、従来の同期手法と比較して高速なトレーニング速度を実現します。GRPO、PPO、RLOOなどの幅広いRLアルゴリズムをサポートし、さまざまなエージェントフレームワークと統合されているため、開発者は既存のエージェントランタイムをbase URL経由でAReaLサービスに接続するだけで、エージェントをトレーニングできます。

対象ユーザー

このプロジェクトは、大規模な推論モデルや複雑なAIエージェントをトレーニングする必要があるAI研究者やエンジニアを対象としています。高度なRLアルゴリズムを試したい、あるいはコードベース全体を書き直すことなく既存のエージェントワークフローにRLトレーニングを統合したいと考えているユーザーにとって特に有用です。

ハイライト

• 完全非同期RL: 大規模モデルのトレーニングにおいて、業界最高水準の速度と安定性を実現するために最適化されています。
• マイクロサービスアーキテクチャ: トレーニング、推論、エージェントサービスを分離し、モジュール性とスケーラビリティを確保します。
• 幅広いアルゴリズムサポート: GRPO、PPO、GSPOといった最先端アルゴリズムのネイティブ実装や、KPopやIcePopなどのさまざまなtoken-masking技術が含まれています。
• エージェントの柔軟性: 「ブラックボックス」エージェントトレーニングを可能にし、最小限の構成でカスタムエージェントランタイムをプラグインできます。
• ハードウェアの汎用性: NVIDIA GPUやHuawei Ascend NPUを含む、多様なハードウェアでのトレーニングをサポートしています。