VeRL-Omni v0.2.0 release notes / what's new

VeRL-Omni v0.2.0は、オムニモーダル強化学習（RL）のためのプロダクショングレードの基盤を確立し、diffusion RLのthroughputを向上させ、オムニモーダルモデルのトレーニングスタックを安定化させることに焦点を当てています。このリリースは、主に2つの進歩、すなわちdiffusion RLのためのrequest-level batchingの実装と、再利用可能なオムニトレーニングアーキテクチャの導入に重点を置いています。

Faster Diffusion RL via Request-Level Batching

VeRL-Omni v0.2.0は、逐次実行から脱却することで、diffusion RLのrollout latencyを大幅に削減します。以前のバージョンでは、diffusion rolloutsはしばしば逐次的なDiT forwardsによってボトルネックとなり、GPU利用率が最適ではない状態でした。

Technical Improvements

Request-Level Batching: vLLM-Omniは、互換性のあるリクエストを逐次ループで処理する代わりに、より大きなtransformer forwardsにパックして処理します。これはサポートされているdiffusion adaptersのデフォルトのrollout pathとなり、スケジューリングのノブによって明示的な並行性制御が可能になります。
V1 Trainer Integration: Diffusion RLは現在V1 trainer pathを利用しており、VeRL-Omni全体で使用される最新のtrainerアーキテクチャと整合性を保ち、将来的なrolloutとtraining executionの分離を可能にします。
Correctness Fixes: このアップデートは、policy consistencyを確保するために、request-batched diffusion log-probs、async rollout semantics、rank-local LoRA weight-update routes、およびrollout-correction hooksを含む重要な領域に対処しています。

Performance Benchmarks

Qwen-Image LoRA OCRレシピを使用した場合、request-level packingへの移行により、GPU利用率が約80%から100%に向上しました。これにより、単独の生成時間（isolated generation time）が226秒から108秒へと52%削減されました。

True-CFGを512 pxで使用するQwen-Image LoRAの場合、推奨されるmax_num_seqsのチューニング範囲は8から32です。SD3.5は、メモリフットプリントがより軽量であるため、max_num_seqsを最大256まで設定することで、より高い並行性（concurrency）をサポートします。

Stable Omni Training Architecture

VeRL-Omni v0.2.0は、モデル固有の統合から、再利用可能なオムニトレーニングスタックへと移行します。これにより、マルチモーダル自己回帰トレーニングが、既存のtrainer、adapter、およびrollout構造に、より自然に統合されるようになります。

The Omni Training Stack

V1 Trainer Architecture: Omniレシピは、現在、より明確なworker orchestrationと標準的なconfiguration overridesにより、vLLM-Omni rolloutsとの整合性が向上しています。
Reusable Omni Model Adapter: 共有インターフェース（OmniModelBase）が、モデルのセットアップ、processor configuration、trainable-stageの選択、FSDP準備、およびrollout alignmentを処理します。これにより、新しいアーキテクチャごとに個別の配線（wiring）が必要なくなります。
Modular Call Flow: main_omni.pyエントリポイントは、オンライン・オムニ・ジョブをverl PPO V1 pathへ導きます。PPO trainerはRL loop（rollout scheduling、advantage computation、およびpolicy updates）を管理し、特定のOmniModelBase adapter（例：Qwen3OmniThinkerAdapter）が、非アクティブなモジュールを削除したり、forwardsをターゲットコンポーネントへリダイレクトしたりするモデル固有のロジックを処理します。

MMK12 Benchmark Results

新しいpathの安定性は、MMK12 anchorレシピを通じて実証されています。これは、4 x H800 80GB GPUを使用して、GSPOとLoRA (rank 32)を用いてQwen3-OmniをK12 visual math reasoning (image-to-text)でトレーニングしています。このセットアップでは、以下の結果が得られました：

Validation Reward: 0.833
Actor-Rollout Pearson Correlation: 0.998
GPU Memory Usage: Approximately 59 GB

Expanded Model and Algorithm Support

VeRL-Omni v0.2.0は、さまざまなdiffusionおよびオムニモーダルモデルのサポートマトリックスを拡張しています：

さらに、このリリースにはAscend NPU Dockerfilesとインストールガイドが含まれています。

Future Roadmap

VeRL-Omniの今後の展開は以下の通りです：

オムニモーダルモデルを最適化するために、完全な非同期（fully async）トレーニングを実装します。
MiniMax-H3やMiniCPM-oのようなモデル、およびOPD/M-OPDのようなtrainerをサポート対象に拡張します。
batching、TQ、およびV1 trainer integrationにより、ビデオ・ディフュージョン・トレーニングの効率を向上させます。
diffusionおよびオムニモーダル・コンテキストにおける非同期トレーニングのためのrollout codeを堅牢化します。
マルチターンおよびマルチステージ生成を伴うagentic RLの開発を進めます。