RUC-NLPIR/ARPO

解決する課題

ARPOとAEPOは、外部ツールと対話する際の大規模言語モデル（LLM）の推論プロセスに導入される不安定性と不確実性に対処します。具体的には、マルチターンエージェント対話におけるステップレベルのツール使用動作を調整するという課題に取り組みます。ツール呼び出しからのフィードバックは、多くの場合、効果的な強化学習を妨げる可能性のある高エントロピー（不確実な）トークンをもたらします。

仕組み

ARPO (Agentic Reinforced Policy Optimization)

ARPOは、ツール呼び出しのエントロピーが高いラウンドにおいて、ポリシーモデルが適応的に分岐サンプリングを行うことを推奨します。これにより、モデルが最も不確実なときに複数の潜在的な推論パスをより効率的に探索できるようになり、GRPOのような標準的な手法よりも少ないツール呼び出し回数でツール使用動作を調整できます。

AEPO (Agentic Entropy-Balanced Policy Optimization)

AEPOはARPOを基盤とし、ロールアウトとポリシー更新の両方のフェーズでエントロピーをバランスさせることで最適化を行います：

動的エントロピーバランスロールアウト (Dynamic Entropy-Balanced Rollout)：エントロピーの事前監視を使用してサンプリング予算を割り当て、連続する高エントロピーステップでの過剰な分岐を防ぐために分岐ペナルティを適用します。
エントロピーバランスポリシー最適化 (Entropy-Balanced Policy Optimization)：「エントロピー・クリッピング・バランス・メカニズム」（stop-gradient操作を使用）を採用して高エントロピー・トークンの勾配を再スケーリングし、エントロピーを考慮したアドバンテージ推定を使用して、不確実性の高いトークンの学習を優先します。

対象読者

このプロジェクトは、マルチターンのツール対話と複雑な推論能力を必要とするLLMベースのエージェントをトレーニングする研究者や開発者向けに設計されています。

ハイライト

パフォーマンスの向上：GAIAやHLEなどのベンチマークで高スコアを達成（例：Qwen3-14BがGAIAで61.2%を達成）。
効率性：GRPOと比較して、トレーニング中に必要なツール呼び出し回数を削減。
最適化：ツール呼び出しの高速化とメモリ最適化が含まれており、14Bモデルを単一ノードでバッチサイズ128、ステップあたりわずか10分でトレーニング可能。
包括的なリソース：完全なコードベース、SFTおよびRLデータセット、3Bから32Bパラメータまでの事前トレーニング済みモデルチェックポイントを提供。