VLM-R1: 一個使用 GRPO 訓練、具備穩定性與泛化能力的 R1 風格視覺語言模型，用於多模態推理

它解決了什麼問題

VLM-R1 解決了建立穩定且具泛化能力的視覺語言大模型 (LVLMs) 以進行視覺任務推理的挑戰。它特別旨在提升在 Referring Expression Comprehension (REC)、Open-Vocabulary Detection (OVD) 以及多模態數學等任務中，對於域外 (out-of-domain) 數據的表現，在這些任務中，傳統的監督式微調 (SFT) 通常無法像強化學習方法那樣具備良好的泛化能力。

運作原理

該專案實作了一種「R1 風格」的訓練方法，主要使用 Group Relative Policy Optimization (GRPO) 來訓練如 Qwen2.5-VL 和 InternVL 等模型。與模仿特定標籤的 SFT 不同，GRPO 允許模型透過基於獎勵的學習來發展推理能力。該系統支援全量微調 (full fine-tuning)、LoRA 以及多節點訓練，並能處理單張與多張圖片輸入，以解決複雜的定位 (grounding) 與推理任務。

目標對象

本專案適合從事多模態推理、物件偵測與視覺定位 (visual grounding) 的 AI 研究人員與開發者，他們希望在視覺語言模型上實施強化學習（特別是 GRPO）以獲得更好的泛化能力。

重點亮點

• 頂尖性能 (State-of-the-Art Performance)：在 Open-Compass Math Leaderboard（4B 參數以下）取得頂尖結果，並在 OVDEval 上達到 SOTA 性能。
• 多樣化任務支援：提供針對 Open-Vocabulary Detection (OVD)、多模態數學、Referring Expression Comprehension (REC) 以及 GUI Defect Detection 的專用模型。
• 靈活的訓練方式：支援 LoRA、全量微調以及在包括 QwenVL 和 InternVL 在內的各種 VLM 上的多節點訓練。
• 硬體優化：針對 Huawei Ascend Atlas 系列進行優化，使用 vllm-ascend 與 xllm 框架以降低 TTFT 並提高吞吐量。