VLM-R1: GRPOを用いてマルチモーダル推論のために学習された、安定かつ汎用性の高いR1スタイルのビジョンランゲージモデル

解決する課題

VLM-R1は、視覚的タスクを通じて推論を行うことができる、安定かつ汎用性の高い大規模ビジョンランゲージモデル（LVLM）の構築という課題に取り組んでいます。具体的には、Referring Expression Comprehension (REC)、Open-Vocabulary Detection (OVD)、およびマルチモーダル数学などのタスクにおいて、従来の教師あり微調整（SFT）では汎用性が十分に発揮されないことが多い、ドメイン外データに対するパフォーマンスの向上を目的としています。

仕組み

このプロジェクトは、主にGroup Relative Policy Optimization (GRPO)を使用してQwen2.5-VLやInternVLなどのモデルを学習させる「R1スタイル」のトレーニングアプローチを実装しています。特定のラベルを模倣するSFTとは異なり、GRPOは報酬ベースの学習を通じてモデルが推論能力を発達させることを可能にします。このシステムは、フルファインチューニング、LoRA、およびマルチノード学習をサポートしており、単一および複数画像の入力を処理して、複雑なグラウンディングおよび推論タスクを解決することができます。

対象者

このプロジェクトは、マルチモーダル推論、物体検出、およびビジュアルグラウンディングに取り組むAI研究者や開発者で、より高い汎用性を実現するためにビジョンランゲージモデルに強化学習（特にGRPO）を実装したいと考えている方を対象としています。

ハイライト

• 最先端のパフォーマンス: Open-Compass Math Leaderboard（4Bパラメータ未満）でトップの結果を達成し、OVDEvalでSOTAのパフォーマンスを実現しています。
• 多才なタスクサポート: Open-Vocabulary Detection (OVD)、Multi-Modal Math、Referring Expression Comprehension (REC)、およびGUI Defect Detectionに特化したモデルが利用可能です。
• 柔軟なトレーニング: QwenVLやInternVLを含む様々なVLMに対して、LoRA、フルファインチューニング、およびマルチノード学習をサポートしています。
• ハードウェアの最適化: vllm-ascendおよびxllmフレームワークを使用してHuawei Ascend Atlasシリーズ向けに最適化されており、TTFTの低減とスループットの向上を実現しています。