om-ai-lab/VLM-R1
Solve Visual Understanding with Reinforced VLMs
What it solves
VLM-R1 解決了建立穩定且具泛化能力的大型視覺語言模型（LVLM）以在視覺任務中進行推理的挑戰。它特別旨在提升在領域外資料上的表現，針對指稱表達理解（REC）、開放詞彙偵測（OVD）以及多模態數學等任務，傳統的監督式微調（SFT）往往無法像強化學習方法那樣有效泛化。
How it works
此專案實作了「R1 風格」的訓練方法，主要使用群組相對策略最佳化（GRPO）來訓練如 Qwen2.5-VL 與 InternVL 等模型。與模仿特定標籤的 SFT 不同，GRPO 讓模型透過基於獎勵的學習發展推理能力。系統支援完整微調、LoRA 與多節點訓練，且能處理單張或多張影像輸入，以解決複雜的定位與推理任務。
Who it’s for
此專案適合從事多模態推理、目標偵測與視覺定位的 AI 研究者與開發者，欲在視覺語言模型上實作強化學習（特別是 GRPO）以獲得更佳的泛化表現。
Highlights
- State-of-the-Art Performance: Achieves top results on the Open-Compass Math Leaderboard (under 4B parameters) and SOTA performance on OVDEval.
- Versatile Task Support: Specialized models available for Open-Vocabulary Detection (OVD), Multi-Modal Math, Referring Expression Comprehension (REC), and GUI Defect Detection.
- Flexible Training: Supports LoRA, full fine-tuning, and multi-node training across various VLMs including QwenVL and InternVL.
- Hardware Optimization: Optimized for Huawei Ascend Atlas series using vllm-ascend and xllm frameworks for reduced TTFT and increased throughput.