verl-project/verl-omni

Multimodal RL training framework for diffusion & omni models

What it solves

VeRL-Omni は、マルチモーダル生成モデルの強化学習（RL）ポストトレーニングにおける固有の課題に対処します。テキストのみの LLM とは異なり、マルチモーダルモデルは I/O パターン、計算特性、実行時のボトルネックが異なるため、安定性・速度・効率を確保するための専用トレーニングフレームワークが必要です。

How it works

VeRL-Omni は verl 上に構築された汎用 RL トレーニングフレームワークです。以下の主要な技術アプローチでトレーニングパイプラインを最適化します。

  • Fast Rollouts: vLLM-Omni バックエンドを使用し、ロールアウトルーティング、バッチ処理、埋め込みキャッシュにより生成を高速化します。
  • Efficient Reward Serving: 非同期報酬計算と HTTP スコアラーをサポートし、ロールアウトフェーズと報酬フェーズを重ね合わせてアイドル時間を削減します。
  • Modular Backends: 選択可能なトレーニングバックエンド（VeOmni と FSDP2）を提供し、組み合わせ可能な並列化方式（USP/TP/DP）で分散トレーニングを実現します。
  • Stability Enhancements: ロールアウト補正を実装し、logP の再計算をスキップすることで、より高速かつ安定した diffusion RL パイプラインを実現します。
  • Specialized Algorithms: FlowGRPO、Flow-DPPO、DiffusionNFT、GSPO など、マルチモーダルタスク向けに調整された様々な RL アルゴリズムを統合しています。

Who it’s for

このフレームワークは、以下のポストトレーニングに取り組む研究者・開発者向けに設計されています。

  • Diffusion models（画像、動画、音声生成）。
  • Unified multimodal models（理解と生成を統合）。
  • Omni-modality models（テキスト、画像、音声、動画を同時に扱う）。

Highlights

  • High Throughput: diffusers ベースの FlowGRPO 実装と比較して、エンドツーエンドのスループットが約 25% 向上します。
  • Broad Model Support: Qwen-Image、SD3.5、Wan2.2、Qwen3-Omni などのモデルに対応。
  • Hardware Flexibility: NVIDIA GPU と Ascend NPU の両方をサポート。
  • Comprehensive Algorithm Suite: DPO、GRPO 系列、専用 diffusion RL 手法など、幅広いアラインメント技術をサポート。