mll-lab-nu/VAGEN

해결하는 문제

VAGEN은 멀티턴 작업을 처리하도록 Vision-Language Model (VLM) 에이전트를 훈련하는 과제를 다룹니다. 이는 단순히 최종 작업 성공을 최적화하는 것이 아니라, 에이전트의 내부 "world model"—현재 상태를 정확하게 추정하고 미래의 전이를 예측하는 능력—을 강화함으로써 에이전트의 세상에 대한 추론 능력을 향상시키는 것을 구체적인 목표로 합니다.

작동 방식

이 프레임워크는 멀티턴 VLM 작업을 Partially Observable Markov Decision Process (POMDP)로 취급합니다. "World Modeling RL" 접근 방식을 사용하며, 여기서 LLM-as-Judge는 목표 달성뿐만 아니라 에이전트의 시각적 상태 추론(StateEstimation 및 TransitionModeling)의 정확도에 대해서도 보상을 제공합니다.

기술적으로, VAGEN은 환경, 에이전트 루프(harness), 모델 적응, 그리고 강화 학습 알고리즘을 분리하는 모듈식 아키텍처를 제공합니다. 이를 통해 연구자들은 일관된 훈련 및 평가 파이프라인을 유지하면서 다양한 VLM 백엔드(Qwen-VL, InternVL, 또는 GLM과 같은)와 다양한 advantage estimator(GAE 또는 GRPO와 같은)를 교체할 수 있습니다.

대상 사용자

복잡한 환경에서 VLM을 훈련하고 평가하기 위한 표준화된 프레임워크가 필요한 embodied AI, 로봇 제어, 그리고 멀티턴 시각적 에이전트를 연구하는 AI 연구자 및 개발자.

주요 특징

• World Model Reinforcement: 상태 추정 및 전이 예측 보상을 통해 추론 과정을 명시적으로 감독합니다.
• Modular Design: 환경, harness, 그리고 rollout execution을 위한 별도의 레이어로 구성되어 있어, 커스텀 환경이나 훈련 알고리즘을 추가하기 쉽습니다.
• Broad Model Support: Qwen2.5-VL, Qwen3-VL, InternVL3.5, 및 GLM-4.6V를 포함한 다양한 VLM 제품군과 호환됩니다.
• Flexible Harnesses: 모델에 히스토리가 전달되는 방식을 제어하기 위해 여러 대화 형식(concat, no_concat, compact)을 지원합니다.