vLLMを用いたTPU v7上での0.6B密モデルRLの最適化
エグゼクティブサマリー
研究チームは、Google Cloud TPU v7上での0.6B密モデルの強化学習(RL)トレーニングサイクルを最適化し、ロールアウトから更新までの全サイクルを約100分から56秒へと短縮しました。この107倍の高速化は、FLOPsのみに焦点を当てるのではなく、デコードスケジューリング、同期、アテンションジオメトリ、KVキャッシュのライフサイクルといったシステムレベルのボトルネックに対処することで達成されました。すべての最適化はvLLM、Tunix、MaxTextリポジトリにアップストリームされており、開発者は提供されている tpu-recipes 設定を使用してこれらの結果を再現可能です。
小規模密モデルの課題
大規模な密モデルや混合エキスパート(MoE)モデルの場合、分散トレーニングは通常、行列演算と通信オーバーヘッドが支配的です。しかし、0.6Bパラメータモデルをトレーニングする場合、レイヤーあたりの計算負荷が大幅に減少するため、固定的なシステムコストが主要なボトルネックとなります。この領域では、ホスト側のディスパッチ、同期バリア、KVキャッシュ管理、カーネル起動のオーバーヘッドが、壁時計時間の不釣り合いな割合を占めるようになります。共同設計なしでは、これらのオーバーヘッドがTPU v7のMXUが高い稼働率を維持することを妨げます。
システムの共同設計と最適化
最適化キャンペーンは、ワークロードの特定のジオメトリに合わせてソフトウェアスタックを調整するために、3つのフェーズでアプローチしました。
フェーズI:ベースライン構成
初期の未調整の実行では、約4Kトークン/秒が生成されました。メッシュスイープの実行、データ並列とテンソル並列の再バランス、HBM制限の調整により、チームはスループットを30Kトークン/秒に向上させ、サイクル時間を100分から21分に短縮しました。
フェーズII:デコードの共同設計
ホスト側のディスパッチ制限を克服するため、チームはvLLMに「Continue Decode」を実装しました。これは、複数のデコード反復を単一のXLAデバイスループにコンパイルするものです。さらに、Ragged Paged Attention (RPA v3) カーネルをリファクタリングし、HBMフェッチジオメトリとVMEM計算タイリングを分離しました。これにより、DMA転送とTensorCore実行のオーバーラップが改善され、デコードスループットが130.5Kトークン/秒まで向上しました。
フェーズIII:フルサイクル最適化
最終的なゲインは、RLループ全体を最適化することで実現されました。主な改善点は以下の通りです。
- KVの永続化: 論理的なキャッシュ無効化と物理的なHBM割り当てを分離し、重み更新中の不要な再割り当てを回避しました。
- 連続バッチ処理: 完了したシーケンスをマスクされたスロットとして退避させることで、融合デコードループをアクティブに保ちました。
- トレーニングの再調整: Splash Attentionのブロックサイズを本番環境のシーケンスジオメトリに合わせて調整しました。
- 並列処理のシフト: TP1×DP128構成に移行し、ロールアウトの並行性を最大化しました。
ベンチマーク手法
チームは、Group Relative Policy Optimization (GRPO) を使用してQwen3-0.6Bを実行する64チップのGoogle Cloud TPU v7スライスを利用しました。ワークロードは、2,048の同時完了全体で厳密な8,192トークンの応答上限を維持しました。報告されたすべてのメトリクスは、コンパイルとウォームアップを除いた定常状態の壁時計時間を反映しており、最終構成では約183Kトークン/秒を維持しました。
否定的な結果と学んだ教訓
いくつかの仮説がテストされ、破棄されました。これにより、多大なエンジニアリングの労力が節約されました。
- 重み/KV量子化: INT8の重みもFP8のKVキャッシュも、ボトルネックがメモリ帯域幅ではなく固定コストの実行によって引き起こされていたため、有意な高速化は得られませんでした。
- 共有プレフィックスアテンション: 構成されたプレフィックス/サフィックスアテンションは、大規模な最適化済み本番用RPAカーネルと比較して正味の利得を示しませんでした。
- トレーニングのマイクロバッチ処理: トレーニングのマイクロバッチサイズを増やしても、総FLOPsが減少したり、トレーニングフェーズが短縮されたりすることはありませんでした。
再現性
すべての変更はオープンソーススタックにマージされています。tpu-recipes リポジトリを使用して、56秒のサイクルを再現できます。最終構成では、融合されたXLAループが不要な同期なしで動作するように、RPA_V3_DECODE_BLOCK_SIZES="1,2048,1,2048" や CONTINUE_DECODE_EOS_CHECK_INTERVAL="0" などの特定の環境変数が必要です。