VeRL‑Omni

VeRL‑Omni は、拡散画像・動画・音声生成器やオムニモダリティ（テキスト・画像・音声・動画）モデルなど、マルチモーダル生成モデルに焦点を当てたオープンソースの強化学習（RL）トレーニングフレームワークです。verl ライブラリの上に構築され、vLLM‑Omni 推論バックエンドと緊密に統合され、これらの大規模モデルに対する高速・安定・スケーラブルなRLポストトレーニングを提供します。

---

機能

• RLベースのファインチューニング：拡散およびオムニモダリティ生成器（例：Qwen‑Image、SD3.5、Qwen‑3‑Omni、BAGEL、Wan2.2など）向け。
• 生成モデル向けに特化したさまざまなRLアルゴリズムをサポート：FlowGRPO、Flow‑DPPO、MixGRPO、Diffusion‑OPD、DiffusionNFT、DPO、GSPO、DAPO など。
• vLLM‑Omni バックエンドによる高スループットのロールアウトを提供（バッチ処理、埋め込みキャッシュ、ルーティング最適化を含む）。
• 非同期マルチ報酬サーバー（HTTPスコアラー、HPSv3、GenRM‑OCR、UnifiedRewardなど）を提供し、ロールアウトと報酬計算をオーバーラップさせます。
• 分散トレーニングバックエンド（VeOmni、FSDP2）および複数の並列戦略（USP/TP/DP）に対応。
• ログ確率の再計算をスキップするロールアウト補正や決定的RLパイプラインなどの安定性向上のテクニックを搭載。
• Ascend NPU（A2、A3、A5）をサポートし、ハードウェアアクセラレーションによるトレーニングを実現。

---

対象ユーザー

• RLを用いて拡散モデルをファインチューニングし、画像・動画・音声の品質を向上させたい研究者。
• 高速で安定したRLパイプラインを必要とする商用マルチモーダル生成サービスを構築するエンジニア。
• オンポリシー蒸留（DiffusionOPD）、マルチ教師RL、またはオムニモダリティモデルの報酬モデルアライメントを試したいチーム。

---

クイックスタート（概要）

1. インストール – ドキュメントに従って pip install verl-omni またはソースからビルド。
2. レシピを選択 – 例：Qwen‑Image用のFlowGRPOレシピは examples/flowgrpo_trainer/ にあります。
3. 設定 – 提供されているHydra YAMLファイルを編集して、モデル、データセット、報酬エンドポイント、並列性を設定します。
4. 実行 – トレーナーを起動（python -m verl_omni.train ...）。
5. 監視 – Weights & Biases、TensorBoardなどと互換性のあるログが出力されます。

---

ドキュメントとリソース

• 全ドキュメント: https://verl‑omni.readthedocs.io/en/latest/
• インストールガイド: https://verl‑omni.readthedocs.io/en/latest/start/install.html
• クイックスタートチュートリアル: https://verl‑omni.readthedocs.io/en/latest/start/flowgrpo_quickstart.html
• アルゴリズム詳細: FlowGRPO、DiffusionOPD、DAPOなど（docs/algo/ セクション参照）。
• サンプルレシピ: examples/ 以下（FlowGRPO、DiffusionNFT、GSPO、DAPOなど）。
• コミュニティ: Slack招待、WeChatグループ、およびサポートのためのIssueトラッカー。

---

ライセンス

Apache 2.0 – 寛容なオープンソースライセンス。

---

引用

研究でVeRL‑Omniを使用する場合は、提供されているBibTeXエントリを引用してください。

---

まとめ: VeRL‑Omni は、最新世代のマルチモーダルおよびオムニモダリティ生成モデル向けの、本番利用可能で拡張性の高いRLトレーニングスタックであり、スピード、安定性、ハードウェア柔軟性をすぐに提供します。