vime RL フレームワーク リリース

vime RL フレームワーク リリース

vLLMは、vimeのリリースを発表しました。vimeは、Large Language Models (LLM)の強化学習（RL）を簡素化および安定化するために設計されたオープンソースのポストトレーニングフレームワークです。slimeのトレーニングスタックとvLLMの推論機能を統合することにより、vimeは単一のアーキテクチャの下で分散トレーニングと推論を信頼性高く動作させる統一パイプラインを作成します。

アーキテクチャと設計

vimeは、slimeパラダイムに基づく3段階、デカップルドトレイン-インファレンス設計を利用し、標準のロールアウトバックエンドをvLLMに置き換えています。アーキテクチャは3つの主要コンポーネントから構成されています：

  • Training (Megatron): メインのトレーニングループを管理し、パラメータ更新を処理し、ロールアウト側に重みを同期します。
  • Rollout (vLLM + Router): 報酬または検証シグナルを伴うトレーニングサンプルを生成するために、推論サンプリングを実行します。
  • Data Buffer: トレーニングとロールアウトの間のコネクタとして機能し、カスタムロールアウトロジックとプロンプト注入を管理します。

主要な技術的機能

vimeは、さまざまなモデルアーキテクチャとハードウェア構成にわたって安定性と柔軟性を確保するように設計されています：

  • Train-Inference Alignment: vimeは、DenseおよびMixture-of-Experts (MoE)シナリオ全体でtrain_rollout_logprob_abs_diffを制御可能に維持します。MoEモデルについては、vimeはトレーニングと推論の不一致をさらに最小化するために**R3 (routing replay)**を実装します。
  • Broad Model and Algorithm Support: このフレームワークは、GRPOおよびPPOを含むRLアルゴリズムのエンドツーエンドの例とCI検証済みパスを提供し、Qwen3 Dense/MoEおよびGLM-4.5などのモデルをサポートします。
  • Unified Hardware Abstraction: トレーニング、ロールアウトリソース、およびクラスター トポロジーは一様に抽象化され、vLLMエコシステムが進化するにつれて、異なるハードウェアバックエンド間でRLパイプラインを再利用できるようになります。
  • Simplified Configuration: システムはslimeとMegatronからパラメータの慣習を継承し、vLLM側に引数を渡すために--vllm-プレフィックスを使用します。

パフォーマンスベンチマークと検証

ハードウェア効率

Qwen3-30B-A3BとGRPOを使用してdapo-math-17kデータセット（8-GPU colocate）でテストを行ったところ、vimeは新しいハードウェアで顕著なパフォーマンス向上を示しました：

  • GB200: 約147秒の平均ステップ時間。
  • H200: 約252秒の平均ステップ時間。
  • 比較: GB200のエンドツーエンドステップ速度は、H200より約1.72x速い。

安定性とアライメント

  • Qwen3-4B (A100): gsm8kで4つのトレーニングGPUと4つの推論GPU（非colocate）を使用してGRPOを実行したところ、vimeのtrain_rollout_logprob_abs_diffは約0.011で安定していたのに対し、ベースラインは約0.77にドリフトしました。
  • Qwen3-30B-A3B MoE (A100): 4つのトレーニングGPUと4つの推論GPUを使用し、R3 routing replayを有効にすると、logprobの差が0.019から0.013に減少しました。
  • GLM-4.5-Air (GB200): dapo-math-17kで8-GPU colocateを使用してGRPOを実行したところ、100ステップを超えてraw_rewardが上昇傾向（平均約0.56）を示した一方で、train_rollout_logprob_abs_diffは0.02と0.03の間で安定していました。

開発ロードマップ

vimeは現在、3つの戦略分野に焦点を当てて進化しています：

  1. vLLM Integration: PDディスアグリゲーション、FP8、Router、マルチモデルサービスなどの高度なvLLM機能を採用します。
  2. Hardware Expansion: vLLMのハードウェアプラグインシステムを利用し、より多くのアクセラレータとクラスター構成に効率を拡張します。
  3. Algorithmic Advancement: 完全非同期パイプライン、マルチターンツール呼び出しのためのAgentic RL、およびVLMやMoEなどの新しいアーキテクチャのサポートを開発しています。

始め方

vimeはApache 2.0ライセンスの下でオープンソースとして公開されています。MegatronトレーニングとvLLMロールアウトリソースを設定した後、train.pyまたはtrain_async.pyを介してトレーニングを起動できます。プロジェクトはGitHubのgithub.com/vllm-project/vimeで利用可能です。

Sources