verl-project/verl-omni

何を解決するか

VeRL-Omniは、マルチモーダル生成モデルの強化学習（RL）ポストトレーニングのための、安定かつ高性能なフレームワークを提供します。テキストのみのLLMトレーニングとは大きく異なる、複雑なI/Oパターン、計算のボトルネック、効率的なロールアウト生成の必要性といった、マルチモーダルRL特有の課題に対処します。

仕組み

このフレームワークはverlの上に構築されており、RLパイプラインを加速させるためにいくつかの最適化を統合しています：

• 高速ロールアウト: vLLM-Omniバックエンドを使用して、ロールアウトルーティング、バッチ処理、および埋め込みキャッシュを通じて生成を最適化します。
• 非同期報酬サービング: 複数の報酬モデル（例：HPSv3、GenRM-OCR）と非同期計算をサポートし、報酬フェーズとロールアウトフェーズをオーバーラップさせます。
• モジュール式バックエンド: 分散トレーニングのために、組み合わせ可能な並列性（USP/TP/DP）を備えたVeOmniやFSDP2などの選択可能なトレーニングバックエンドを提供します。
• 安定化メカニズム: logPの再計算をスキップするためのロールアウト補正を実装しており、より高速で安定した拡散RLパイプラインを実現します。

対象者

拡散モデル（画像、動画、音声）および、テキスト、画像、音声、動画を共同で扱うオムニモーダルモデルのポストトレーニング・アライメントに取り組む研究者や開発者。

ハイライト

• 幅広いモデルサポート: Qwen-Image、SD3.5、Wan2.2、LTX2.3、およびQwen3-Omniと互換性があります。
• 多様なアルゴリズムサポート: FlowGRPO、DiffusionNFT、Diffusion DPO、およびGSPOを含む様々なRLアルゴリズムを実装しています。
• 高いスループット: リファレンス設定において、diffusersベースの実装と比較して、エンドツーエンドのスループットが約25%向上しています。
• ハードウェアサポート: NVIDIA GPUとAscend NPUの両方をサポートしています。