VeRL-Omni: 拡散およびオムニモダリティモデル向けRLトレーニングフレームワーク

vLLMは、VeRL-Omniのプレリリースを発表しました。これはマルチモーダル生成モデル向けに設計された汎用の強化学習（RL）ポストトレーニングフレームワークです。verlとvllm-omniに基づいて構築され、VeRL-Omniは自己回帰でないおよびオムニモーダルモデル（例：ディフュージョンTransformerや統合理解・生成アーキテクチャ）におけるRLトレーニングの独自の課題に対処します。

マルチモーダルRLにおける技術的課題

VeRL-Omniは、マルチモーダル生成RLに関連する3つの主要な技術的ハードルを解決するように設計されています：

• アーキテクチャ拡張: フレームワークは、ディフュージョンTransformerバックボーン（例：Qwen-Image）、混合AR-DiTアーキテクチャ（例：Qwen-Omni）、統合モデル（例：BAGEL、HunyuanImage3.0）へのRL機能を拡張します。
• 異種ロールアウトパイプライン: テキストベースのRLとは異なり、マルチモーダルロールアウトは連続潜在空間でのノイズ除去軌跡です。これらのパイプラインは、テキストエンコーダ、ディフュージョンTransformer（DiT）、変動オートエンコーダ（VAE）などの複数のコンポーネントを含むことがよくあります。
• ワークロードスケジューリング: マルチモーダルRLでは、報酬関数がしばしばマルチモーダルモデル自身（例：VLMジャッジやOCRスコアラー）である複雑なワークフローを調整する必要があり、生成ロールアウトは通常テキスト生成よりも高いメモリピークを示します。

フレームワークの主要機能

VeRL-Omniは、マルチモーダルRLトレーニングのためのモジュールかつ効率的なスタックを提供します：

• 効率的なマルチモーダルロールアウト: vLLM-Omniを統合することにより、フレームワークはマルチモーダル生成のための高スループット非同期サービスを利用し、ステップワイズの継続的バッチングとエンベディングキャッシュを採用して効率を最適化します。
• 柔軟な報酬エンジン: システムはルールベースおよびモデルベースの報酬（例：VLM-as-judge）の両方をサポートします。vLLMは効率的な報酬モデル推論に使用され、報酬計算はロールアウトおよびトレーニングプロセスと重複させてレイテンシを削減します。
• モジュラートレーニングバックエンド: フレームワークには、DiffusersFSDP、Megatron、VeOmniなどのさまざまなトレーナーが含まれており、ディフュージョンおよびオムニモーダルモデル向けの組み込み最適化が施され、FSDP、USP、TPなどの並列戦略をサポートします。
• ハードウェア互換性: VeRL-OmniはNVIDIA GPUおよびAscend NPUの両方をサポートします。

サポートされるモデルとアルゴリズム

VeRL-OmniはさまざまなアーキテクチャとRLアルゴリズムをサポートしており、いくつかは現在リリース済みまたは開発中です：

モデル	アーキテクチャ	モダリティ	アルゴリズム	ステータス
Qwen-Image	DiT	テキスト → 画像	FlowGRPO, MixGRPO, GRPO-Guard	リリース済み
BAGEL	統合理解＋生成	テキスト + 画像	FlowGRPO	PR準備中
Qwen3-Omni-Thinker	AR	テキスト / 画像 / ビデオ / オーディオ	GSPO	PR準備中
Wan2.2	DiT	テキスト → ビデオ	DanceGRPO	開発中
SD3.5	DiT	テキスト → 画像	DPO	開発中
HunyuanImage-3.0	統合理解＋生成	テキスト + 画像	MixGRPO, SRPO	計画中

FlowGRPOの実装とパフォーマンス

VeRL-Omniは、FlowGRPOを実装しています。これはフローマッチングモデル向けのオンラインポリシー手法です。トレーニングワークフローは4つのステージから構成されます：ロールアウト生成（軌跡と画像の収集）、報酬モデルスコアリング、CLIPスタイルの損失を使用したポリシー最適化、およびトレーナーからロールアウトワーカーへの定期的な重み同期。

パフォーマンスベンチマーク

NVIDIA H800 GPUを使用してQwen-ImageのLoRAファインチューニングをOCR報酬タスクで行ったテストにおいて、フレームワークは次のスループットを示しました：

• コロケートトレーニング: 1GPUあたり0.305画像/秒、ステップあたりの時間は420秒。
• 非同期報酬: 1GPUあたり0.280画像/秒、ステップあたりの時間は360秒。報酬モデルを専用GPUに移動すると、ステップあたりのウォールクロック時間が約14%削減されます。

4台のNVIDIA H200 GPUでQwen-Image（非-CFG）のフルモデルファインチューニングを行った場合、フレームワークは約250秒/ステップで0.510画像/GPU/sを達成しました。

今後のロードマップ

VeRL-Omniは現在プレリリース段階です。今後の開発ロードマップには以下が含まれます：

• モデルサポートの拡張: 画像、ビデオ、オーディオ生成のためのオープンソースのディフュージョンおよびオムニモーダルモデルをさらに追加。
• 高度なアルゴリズム: DiffusionNFTなどの新しいRLアルゴリズムを統合。
• 完全非同期RL: アクター、ロールアウト、報酬間のエンドツーエンドの非同期パイプラインを開発し、GPU/NPUの利用率を向上。
• vLLM-Omniの共同最適化: 高度な並列ism、量子化、バッチングを通じてロールアウトをさらに高速化。
• 最適化されたトレーナー: Megatron-coreおよびVeOmniに基づくさらに多くのトレーエンジンをリリース。
• ハードウェアの拡張: Ascend NPUパスを強化し、さらに多くのハードウェアバックエンドを追加。