XYZ-AI-Lab/axrl

何を解決するか

AxisRLは、複数ターンにわたる環境との対話、ツールの呼び出し、長期的な成果に基づく報酬を受け取る必要がある、エージェント型強化学習（RL）の後処理学習を目的として設計されています。複数ターンのロールアウト、環境状態、ツール呼び出し、重みの同期を管理する際の調整課題を解決し、学習プロセスが安定かつ観測可能であることを保証します。

動作方法

AxisRLは、高スループットのロールアウトエンジン（SGLang）と大規模分散学習エンジン（Megatron）を接続するシステム層として機能します。ロールアウトエージェントがエージェントワークフローを実行し、SGLangワーカーがテキストを生成し、環境が報酬を生成し、Megatronワーカーがポリシー最適化（PPOやGRPOなど）を行うというループを管理します。

主な技術的メカニズムは以下の通りです：

• ホワイトボックスおよびブラックボックス統合：内部エージェントループ（ホワイトボックス）またはOpenAI互換プロキシを介して外部ハーネスの相互作用をキャプチャ（ブラックボックス）をサポート。
• 部分的ロールアウト：完了したサンプルをトレーナーに即座に送信することで、長尾トラジェクトリの遅延による無駄な待機時間を削減。
• ハンドルベースのデータプレーン：MoEルーティングデータなどの重いペイロードを中央ドライバー経由ではなくハンドル経由で移動させ、ボトルネックを回避。
• コンテキスト管理：繰り返しの注意計算を最適化するため、プレフィックスツリー結合とMagiAttentionを使用。
• 整合性ツール：不一致分析と「スパイクリプレイ」を含み、ロールアウトとトレーナーの実行パス間の乖離をデバッグ可能に。

対象ユーザー

大規模なエージェント型LLM（数百億パラメータ以上）を訓練する研究者およびエンジニア向けです。複雑な複数ターンの相互作用と高スループットRL後処理学習を必要とする用途に最適です。

特徴

• ロールアウトにSGLang、分散学習にMegatronを採用。
• PPO、GRPO/GRPO2、GSPO、TOPR、TISなど複数の最適化目的をサポート。
• 300ターン以上のトラジェクトリを処理可能。
• MoEエキスパートルーティングの学習中の安定化を図るRollout Routing Replay（R3）を搭載。
• ロススパイクやトークンレベルの不一致を再現可能なデバッグスイートを提供。