mll-lab-nu/RAGEN

何を解決するか

RAGENは、環境との複数ターンの相互作用を通じて推論を行うLLMエージェントを訓練する課題に対処します。特に、エージェント強化学習（RL）における失敗モード、たとえば「エコー・トラップ」と「推論の崩壊」に注目しており、モデルが多様に見える推論を生成するが、実際には入力に依存せず、タスクの実際の状態から切り離されている状態を防止します。

動作方法

StarPO（State-Thinking-Actions-Reward Policy Optimization）フレームワークに基づき、RAGENはロールアウトと更新の2段階プロセスを採用しています。ロールアウト段階では、LLMが推論をもとにした行動（</tool_call>...</tool_call><ans> action </ans> の形式でフォーマット）を生成し、環境からのフィードバックを受け取ります。更新段階では、PPOまたはGRPOによる重要度サンプリングを用いて、全体の軌道を最適化します。

RAGEN-2はSNR-Adaptive Filteringを導入し、報酬の分散を代理指標として用いてノイズの多いロールアウトデータをフィルタリングし、相互情報量の代理指標を用いて「テンプレート崩壊」（入力にかかわらず推論が一般的なテンプレートになる現象）を診断・監視します。

対象ユーザー

複数ターンの複雑なタスクを実行する推論能力を持つLLMエージェントを訓練する研究者や開発者向けに設計されています。

主な特徴

• StarPOフレームワーク: 軌道レベルおよびターン単位の両方の訓練をサポートする統合されたRLフレームワーク。
• 組み込み環境: Sokoban、WebShop、DeepCoderなど10の事前設定済み環境を含む。
• Gym互換性: カスタム環境の容易な統合が可能。
• 推論診断機能: 推論の崩壊を検出するための高度なメトリクス（条件付きエントロピーと相互情報量）。
• SNR-Adaptive Filtering: 訓練の安定化とノイズの多い勾配更新の軽減を目的とした軽量な手法。