mll-lab-nu/VAGEN

What it solves

VAGENは、マルチターンタスクを扱う Vision-Language Model (VLM) エージェントのトレーニングにおける課題を解決します。単に最終的なタスクの成功率を最適化するのではなく、エージェントが世界を推理-推論する能力を能力を向上させるために、内部の「世界モデル」——すなわち、現在の状態を正確に推定し、将来の遷移を予測する能力——を強化することで、エージェントの推理能力を強化します。

How it works

このフレームワークは、マルチターンVLMタスクをタスクとして、Partially Observable Markov Decision Process (POMDP) として扱います。It uses a "World Modeling RL" approach where an LLM-as-Judge が、ゴールの達成だけでなく、エージェントの視覚的状態推理 (StateEstimation と TransitionModeling) の正確性に対しても報酬を与えます。

技術的には、VAGENは、環境、エージェント・ループ (harness)、モデル適応、および強化学習アルゴリズムを分離するモジュール式アーキテクチャを提供します。

Who it’s for

Highlights

• World Model Reinforcement: 状態推定と遷移予測の報酬を通じて、推理プロセスを明示的に監督します。

• Modular Design: 環境、harness、および rollout 実行のレイヤーを分離しており、カスタム環境やトレーニングアルゴリズムの追加が容易です。

• Broad Model Support: Qwen2.5-VL, Qwen3-VL, InternVL3.5, および GLM-4.6V を含む、様々な VLM ファミリーを包括的にサポートします。

• **Flexible Harness