mll-lab-nu/VAGEN

何を解決するか

VAGENは、視覚言語モデル（VLM）エージェントが複雑なマルチターンタスクを実行する際の訓練の難しさに対処します。標準的な強化学習は最終的なタスク成功にのみ報酬を与えるため、報酬が疎になり、エージェントが環境の背後にある論理を学ぶのが困難です。VAGENは、タスクの最終結果ではなく、エージェントの内部「ワールドモデル」の推論——特に現在の状態を推定し、将来の遷移を予測する能力——を強化することで、この問題を解決します。

動作方法

VAGENはマルチターンエージェントタスクを部分観測マルコフ決定過程（POMDP）として定式化します。新規の「ワールドモデリングRL」アプローチを採用し、推論を2つの明示的なステップに分解します：StateEstimation（「現在の状態は何か？」）とTransitionModeling（「次に何が起こるか？」）。

これを訓練するため、以下の要素を採用しています：

• WorldModeling Reward：LLM-as-Judgeが推論プロセスを評価するターン単位の報酬。
• Bi-Level GAE：ターンに意識的な学習のためのクレジット割り当てメカニズム。
• Flexible Harnesses：会話履歴の管理方法を柔軟に選択可能（concat、no-concat、compact）。ここで「compact」は長大な会話履歴をトークン制限内に要約する。
• モジュールアーキテクチャ：環境、ハーネス、トレーニングバックエンドを分離（vLLMとSGLangをサポート）。

対象ユーザー

• 視覚環境向けVLMエージェントを開発するAI研究者や開発者。
• ロボット工学、ナビゲーション、空間推論タスク（例：Sokoban、ManiSkill）に取り組む開発者。
• マルチターン視覚言語インタラクション向けスケーラブルなRLフレームワークを探しているMLエンジニア。

主な特徴

• 優れたパフォーマンス：VAGENで訓練された3BのVLMは、5つの視覚エージェントベンチマークでGPT-5、Gemini 2.5 Pro、Claude 4.5を上回りました。
• モジュール設計：カスタム環境、アドバンテージ推定器、ハーネスを簡単に組み込める。
• Compaction RL：履歴を要約することで、コンテキストウィンドウを超える軌道での学習を可能にするパラダイム。
• 広範なモデル対応：Qwen2.5-VL、InternVL3.5、GLM-4.6V-Flashと互換性あり。