VLM-R1: GRPO로 학습되어 멀티모달 추론을 위한 안정적이고 일반화 가능한 R1 스타일의 비전-언어 모델

해결하는 문제

VLM-R1은 시각적 작업을 통해 추론할 수 있는 안정적이고 일반화 가능한 대규모 비전-언어 모델(LVLM)을 구축하는 과제를 해결합니다. 특히 Referring Expression Comprehension (REC), Open-Vocabulary Detection (OVD), 그리고 멀티모달 수학과 같은 작업에서 기존의 지도 학습(SFT)이 강화 학습 방식만큼 잘 일반화되지 못하는 문제를 개선하는 것을 목표로 합니다.

작동 방식

이 프로젝트는 주로 Group Relative Policy Optimization (GRPO)를 사용하여 Qwen2.5-VL 및 InternVL과 같은 모델을 학습시키는 "R1 스타일" 학습 방식을 구현합니다. 특정 레이블을 모방하는 SFT와 달리, GRPO는 모델이 보상 기반 학습을 통해 추론 능력을 개발할 수 있도록 합니다. 이 시스템은 전체 미세 조정(full fine-tuning), LoRA, 그리고 멀티 노드 학습을 지원하며, 단일 및 다중 이미지 입력을 처리하여 복잡한 그라운딩(grounding) 및 추론 작업을 수행할 수 있습니다.

대상 사용자

이 프로젝트는 멀티모달 추론, 객체 탐지, 그리고 시각적 그라운딩을 연구하며, 더 나은 일반화 성능을 달성하기 위해 비전-언어 모델에 강화 학습(특히 GRPO)을 구현하고자 하는 AI 연구자 및 개발자를 대상으로 합니다.

주요 특징

• 최첨단 성능 (State-of-the-Art Performance): Open-Compass Math Leaderboard (4B 파라미터 미만)에서 최고 결과를 달성하고 OVDEval에서 SOTA 성능을 기록합니다.
• 다양한 작업 지원: Open-Vocabulary Detection (OVD), Multi-Modal Math, Referring Expression Comprehension (REC), 그리고 GUI Defect Detection을 위한 전문화된 모델을 사용할 수 있습니다.
• 유연한 학습 방식: QwenVL 및 InternVL을 포함한 다양한 VLM에 대해 LoRA, 전체 미세 조정, 그리고 멀티 노드 학습을 것을 지원합니다.
• 하드웨어 최적화: vllm-ascend 및 xllm 프레임워크를 사용하여 Huawei Ascend Atlas 시리즈에 최적화되어 TTFT를 줄이고 처리량을 높였습니다.