NVIDIA-NeMo/ProRL-Agent-Server

何を解決するか

Polar は現実世界のエージェントハーネス向けに設計された強化学習（RL）ロールアウトフレームワークです。複数ターンのLLMエージェントにおける非同期RLトレーニングのスケーラビリティ問題を、"Rollout-as-a-Service"アーキテクチャにより解決します。これにより、開発者は既存のエージェントハーネスを変更せずに、トラジェクトリ（ロールアウト）を生成できます。

動作方法

Polar は分散型サーバーシステムとして動作します。中央のロールアウトサーバーがリクエストを管理・ディスパッチし、分散されたゲートウェイノードに配信します。これらのノードは非同期にランタイム環境を準備し、エージェントを実行し、トラジェクトリを構築・評価します。エージェント実行プロセスと推論サーバー（vLLM や SGLang など）の間にプロキシを設置することで、通信を処理し、トレーナーに依存しない設計を実現。さまざまなトレーニングフレームワークと互換性があります。

対象ユーザー

RLを用いてLLMエージェントをトレーニングしている研究者や開発者。異なる環境やハーネス間でトラジェクトリを生成・評価する必要があるが、エージェントのコアコードを変更したくない方々に最適です。

特徴

• ハーネス非依存: コード変更なしに既存のエージェントハーネスをRL対応環境として統合。
• スケーラブルアーキテクチャ: 並列ロールアウトステージングとランタイムプーリングによりGPU使用効率を最適化。
• トレーナー非依存: HTTPサーバー境界を通じて、あらゆるトレーニングフレームワークと連携可能。
• 可視性: トラッキングとヘルスチェックを可能にする専用ダッシュボードを搭載。
• 広範なサポート: vLLM および SGLang 推論サーバーと互換性あり。