RUC-NLPIR/ARPO

何を解決するか

ARPO および AEPO は、大規模言語モデル（LLM）エージェントが複数ターンの対話とツール利用を処理する際の性能を向上させるために設計された強化学習（RL）アルゴリズムです。これらは、外部ツールからのフィードバックを受けた際に生じる高い不確実性（エントロピー）に特に焦点を当てており、この不確実性がモデルの推論プロセスを乱し、段階ごとの行動の整合性を難しくする問題を解決します。

動作方法

ARPO（エージェント強化ポリシー最適化）

ARPO は、エントロピーが高いツール呼び出しフェーズにおいて、ポリシーモデルが適応的に「分岐サンプリング」を行うように促します。これにより、モデルが最も不確実な状態で複数の潜在的な推論経路をより効果的に探索でき、ツール利用行動の整合性が向上します。

AEPO（エージェントエントロピー平衡ポリシー最適化）

AEPO はこれらの概念をさらに発展させ、2つのフェーズでエントロピーをバランスさせる仕組みを採用しています。

• ロールアウトフェーズ：動的エントロピー平衡ロールアウト機構を使用して、サンプリング予算を割り当て、連続する高エントロピーステップでの過剰な分岐を防ぐペナルティを適用します。
• 更新フェーズ：エントロピー平衡ポリシー最適化を採用し、ストップグラデーション操作（エントロピークリッピングバランス機構）により高エントロピートークンの勾配を保持しつつ、エントロピーに敏感なアドバンテージ推定を用いて、高い不確実性を持つトークンに学習を優先させます。

対象ユーザー

本プロジェクトは、Qwen や Llama モデルなどの LLM ベースのエージェントを、複雑な推論と自律的なツール連携を実現する多ターン環境で訓練する AI 研究者および開発者向けです。

主な特徴

• 性能向上：GAIA や HLE などのベンチマークで高いスコアを達成（例：Qwen3-14B が GAIA で 61.2%）。
• 効率性：GRPO と比較して、トレーニング中に必要なツール呼び出し回数を大幅に削減。
• 最適化：ツール呼び出し加速とメモリ最適化を含み、1ノードでバッチサイズ 128 で 14B モデルを 1 ステップあたり 10 分でトレーニング可能。
• 包括的なリソース：完全なコードベース、SFT および RL データセット、3B から 32B パラメータまでの事前学習済みモデルチェックポイントを提供。