VLM-R1：使用 GRPO 训练的稳定且可泛化的 R1 风格视觉语言模型，用于多模态推理

它解决了什么问题

VLM-R1 旨在解决创建稳定且可泛化的大型视觉语言模型（LVLM）以进行视觉任务推理的挑战。它特别致力于提升在领域外数据上的表现，针对指代表达理解（REC）、开放词汇检测（OVD）以及多模态数学等任务，而传统的监督微调（SFT）往往无法像强化学习方法那样实现良好的泛化。

工作原理

该项目实现了一种 “R1 风格” 的训练方法，主要使用组相对策略优化（GRPO）来训练诸如 Qwen2.5-VL 和 InternVL 等模型。不同于模仿特定标签的 SFT，GRPO 通过基于奖励的学习让模型发展推理能力。系统支持全参数微调、LoRA 以及多节点训练，并且能够处理单图和多图输入，以解决复杂的定位与推理任务。

适用人群

本项目面向从事多模态推理、目标检测和视觉定位的 AI 研究者和开发者，帮助他们在视觉语言模型上实现强化学习（尤其是 GRPO），以获得更好的泛化能力。

亮点

• 领先的性能：在 Open-Compass Math Leaderboard（参数少于 4B）上取得最高成绩，并在 OVDEval 上实现 SOTA 表现。
• 任务支持多样：提供针对开放词汇检测（OVD）、多模态数学、指代表达理解（REC）以及 GUI 缺陷检测的专用模型。
• 训练灵活：支持 LoRA、全参数微调以及跨多种 VLM（包括 QwenVL 和 InternVL）的多节点训练。
• 硬件优化：针对华为 Ascend Atlas 系列进行优化，使用 vllm-ascend 与 xllm 框架，降低首次推理时间（TTFT）并提升吞吐量。