om-ai-lab/VLM-R1
Solve Visual Understanding with Reinforced VLMs
What it solves
VLM-R1 解决了建立稳定且具泛化能力的大型视觉语言模型（LVLM）以在视觉任务中进行推理的挑战。它特别旨在提升在领域外数据上的表现，针对指称表达理解（REC）、开放词汇检测（OVD）以及多模态数学等任务，传统的监督式微调（SFT）往往无法像强化学习方法那样有效泛化。
How it works
此项目实现了「R1 风格」的训练方法，主要使用组相对策略优化（GRPO）来训练如 Qwen2.5-VL 与 InternVL 等模型。与模仿特定标签的 SFT 不同，GRPO 让模型通过基于奖励的学习发展推理能力。系统支持完整微调、LoRA 与多节点训练，且能处理单张或多张图像输入，以解决复杂的定位与推理任务。
Who it’s for
此项目适合从事多模态推理、目标检测与视觉定位的 AI 研究者与开发者，欲在视觉语言模型上实现强化学习（特别是 GRPO）以获得更佳的泛化表现。
Highlights
- State-of-the-Art Performance: Achieves top results on the Open-Compass Math Leaderboard (under 4B parameters) and SOTA performance on OVDEval.
- Versatile Task Support: Specialized models available for Open-Vocabulary Detection (OVD), Multi-Modal Math, Referring Expression Comprehension (REC), and GUI Defect Detection.
- Flexible Training: Supports LoRA, full fine-tuning, and multi-node training across various VLMs including QwenVL and InternVL.
- Hardware Optimization: Optimized for Huawei Ascend Atlas series using vllm-ascend and xllm frameworks for reduced TTFT and increased throughput.