mll-lab-nu/VAGEN

What it solves

VAGEN 解决了训练视觉语言模型 (VLM) 代理处理多轮任务的挑战。它特别旨在通过强化其内部的“世界模型”——即准确估计当前状态并预测未来转移的能力——而非仅仅优化最终任务的成功率，来提升代理的推理能力。

How it works

该框架将多轮 VLM 任务视为部分可观测马尔可夫决策过程 (POMDP)。它使用一种“世界建模 RL”方法，其中 LLM-as-Judge 会针对达成目标以及代理的视觉状态推理（StateEstimation 和 TransitionModeling）提供奖励。

技术上，VAGEN 提供了一个模块化架构，将环境、代理循环 (harness) 、模型适配和强化学习算法解耦。这允许研究人员在维持一致的训练和评估流程的同时，更换不同的 VLM 后端 (如 Qwen-VL, InternVL, 或 GLM) 以及不同的优势估计器 (如 GAE 或 GRPO)。

Who it’s for

对于从事具身智能 (embodied AI)、

Highlights

• World Model Reinforcement: 显式地通过状态估计和转移预测奖励来监督推理过程。
• Modular Design: 分层式的环境、harness 和 rollout 执行，使得添加自定义环境或训练算法变得容易。

---

• Broad Model Support: 兼容于各种 VLM 系列，包括 Qwen2.5-VL, Qwen3-VL, InternVL3.5, 和 GLM-4.6V。
• Flexible Harnesses: 支持多种对话格式 (concat, no_concat, compact) 以控制如何将历史记录传递给模型。