vllm-project/vime

Vime – LLM post‑training framework for reinforcement‑learning at scale

What it is

• Vimeは、強化学習（RL）手法で大規模言語モデル（LLM）をファインチューニングできる研究グレードのフレームワークです。2つの実績あるスタックを組み合わせています。
  1. Megatron‑LM – 巨大なモデルに使用される高スループットのトレーニングエンジン。
  2. vLLM（オプションの vllm‑router を含む）– 多くのGPUで並列にテキストを生成できる高速推論サーバー。
• この組み合わせにより、プロンプトの生成、モデルによる応答のロールアウト、報酬の計算、そして得られた軌跡が次のトレーニングステップのためにMegatronにフィードバックされる、単一のデータフローループが実現します。

主な機能

機能	Vimeがどのように実現するか
高性能トレーニング	Megatronが重い勾配更新を処理し、Vimeは同じモデル重みをロールアウト用にvLLMに渡して、両者を同期させます。
柔軟なデータ生成	ユーザーはカスタム生成関数（マルチターン対話、ツール呼び出し、サンドボックス環境など）をプラグインできます。Data Bufferはプロンプト、生成サンプル、RL報酬を抽象化するため、任意のワークフローを表現できます。
エージェント/長 horizon サポート	マルチエージェント、非同期、コード生成エージェント用の組み込みフック。例として、Qwen‑3.8‑27BでのコーディングエージェントRL実行があります。

サポートされるモデル（上流の slime プロジェクトから継承）– Qwenシリーズ、DeepSeek V3シリーズ、LLaMA 3、およびその他のMegatron互換チェックポイント。

アーキテクチャ概観

• トレーニング（Megatron） – Data Bufferからバッチを読み取り、RL損失を計算し、更新された重みをロールアウト側に同期します。
• ロールアウト（vLLM + ルーター） – 1つ以上のvLLM推論エンジンを起動し、生成リクエストをルーティングし、カスタムロジック（ツール使用、環境インタラクション、報酬検証）でラップできます。
• Data Buffer – プロンプト、生成された軌跡、報酬を保存する接着剤です。Rayのオブジェクトストアまたは「straw」共有ストレージバックエンドを介して永続化でき、フォールトトレランスを実現します。

始め方

1. クイックスタートガイド（環境設定、データ準備、起動スクリプト）に従ってください。すべてのコマンドはtrain.pyエントリポイントで駆動されます。
2. ロールアウトバックエンド（--rollout-num-gpus-per-engine、--vllm-router-ipなど）と必要なMegatron並列性フラグを選択します。
3. 必要に応じて、カスタム生成関数（--custom-generate-function-path）を追加して、独自のエージェントループを実装します。
4. 提供されている例（マルチエージェント、完全非同期、Qwen‑3.8コーディングエージェントRLデモ）を実行します。

拡張性

• 引数は3つのグループ（Megatron、vLLM、Vime固有）に分けられ、すべてコマンドラインで公開されています。ソースファイルvime/utils/arguments.pyとvime/backends/vllm_utils/arguments.pyに完全なセットがリストされています。
• エンジン展開は、異種GPUグループ、外部ロールアウトサーバー、ディスクベース更新用のデルタ重み同期をサポートしているため、トレーナーとは異なるクラスターでロールアウトを実行できます。
• テストと信頼性 – CPUユニットテスト、GPUエンドツーエンドスイート、CIパイプラインがサイレントRLバグを防ぎます。フォールトトレランスドキュメントでは、strawトランスポートを使用したクラッシュからの回復方法が説明されています。

誰がVimeを使うべきか？

• RLベースのLLMエージェント（ツール使用ボット、コード生成アシスタント、マルチエージェントシミュレーション）を構築している研究者。
• すでにMegatronまたはvLLMを使用しており、トレーニングや推論スタックを書き直さずにターンキーRLループを必要とするチーム。
• 多くのGPUでスケーリングしながらデータ生成ロジックを柔軟に保つ、本番準備完了の構成可能なパイプラインを必要とするすべての人。

詳細情報

• 完全なドキュメント: https://docs.vllm.ai/projects/vime/en/latest/
• ソースコード: https://github.com/vllm-project/vime
• コミュニティ: SlackチャンネルとWeChatグループ（READMEにリンクあり）。

---

Vimeは、強化学習によるLLMポストトレーニングに焦点を当て、vLLMエコシステムと密に統合された本格的なオープンソースプロジェクトです。