DeepSeek-V4.1-Flash が NVIDIA Vera Rubin NVL72 上で GB300 の 58 倍のスループットを達成
TL;DR
vLLM は、単一の NVIDIA Vera Rubin NVL72 ラック上で DeepSeek‑V4.1‑Flash を GPU あたり 1.7M トークン/秒(各ユーザーは 387 トークン/秒、GB300 NVL72 ベースライン比 58 倍の改善)で実行し、Rubin 固有のカーネル最適化、専用の TP‑8 デコードパス、ラックスケールの KV キャッシュと Engram プーリングを活用することで、全体で 2.52M トークン/秒のピークを達成します。
ハードウェアコンテキスト: Vera Rubin NVL72
Rubin NVL72 サーバーは、最適化を形作る 3 つのアーキテクチャ機能を導入しています。
- GPU あたりのデュアルメモリドメイン – 各 SM は、自身のドメインを他のドメインよりもはるかに高速に読み取ることができるため、帯域幅に制約されるデータ(MoE 重み、LM ヘッド、MegaMoE バッファ)は配置に非常に敏感です。
- SM107 のより広いブロックスケール MMA 命令 – 新しい K64 混合精度(FP8×FP4)および K128 FP4 MMA は、命令あたりの作業を 2 倍にし、MegaMoE、アテンション、および MQA ロジットカーネル内の GEMM を高速化します。
- 72 GPU が単一の NVLink ドメインを共有 – 2 つのトレイにまたがるテンソル並列処理(TP)は、実質的に追加のオールリデュースコストを発生させず、プリフィルインスタンスは互いの HBM を直接読み取ることができるため、冗長な重みコピーが不要になります。
これらの特性により、以下に報告する劇的なスループット向上が可能になります。
Rubin 向けのコアカーネル書き換え
DEP プリフィルカーネル – ステップあたり約 28% 高速化
- MegaMoE タイリング は、ローカルトークン数と DP 平均トークン数の大きい方に従うようになり、40 ステップのリプレイで MegaMoE 時間を 55% 削減し、8K–32K トークンの単一リクエストのタイム・トゥ・ファースト・トークン(TTFT)を 13–39% 削減します。
- Mega‑mHC 残差ストリーム は、両方のメモリドメインにストライプされたダイローカルプールに存在し、各 SM は他のドメインを支援する前に自身のドメインを排出するため、32K トークンでの呼び出しレイテンシが 354 µs → 317 µs に短縮されます。
- MegaAttn クエリ GEMM は、cuDNN(SM100)から SM107 の K64 MMA 上の FlashInfer の CuTe DSL に移行し、4K–32K 行で 13–18% の高速化を実現します。
- パイプライン対応アテンション は、QK より先に SV を発行し、インデックス行を L2 にプリフェッチし、各 TMEM レーンが自身のキーをスコアリングできるようにすることで、16K–32K トークンで 15% 高速なカーネルを実現します。
- Mega‑mHC 用のチケット付きタスクリング は、固定ストライドをアトミックチケットカウンタに置き換え、32K トークンでの大規模グリッドパフォーマンスを 18% 向上させます。
- MegaGate 候補フィルタリング は、トップ 6 に入る可能性のあるエキスパートに対してのみ sqrt‑softplus を評価し、4K トークンでのカーネル時間を 3–13% 削減します。
DEP デコードカーネル – ステップあたり約 25% 高速化
- ダイローカル MegaMoE 重み は、エキスパート列をメモリドメイン間で分割し、バッチサイズ 32 で 10.1%、バッチサイズ 168 で 5.5% の高速化を実現します。
- ワイド EP ディスパッチ は、NVLink ラウンドトリップをトークンあたり 1 回に削減し、DEP8 での MegaMoE フォワード時間を 17% 改善します。
- バリアなしコンバイン は、センチネルバッファを使用して、各 CTA が GEMM 完了直後にコンバインできるようにし、3.5–10.8% のデコード高速化を追加します。
- Split‑K GEMM は、K を SM107 クラスタ全体に分散し、アテンションプロジェクションを 10–38%、デコードフォワード全体を最大 3.1% 高速化します。
- MQA ロジットカーネル は、5〜6 のクエリ行を単一の 192 幅タイルにパックし、SM107 の K128 MMA を使用して、15–22% 高速な実行を実現します。
- 分割 Mega‑mHC は、重要な Post、ルートコラプス、RMSNorm ステップのみを分離し、2–4.8% のデコードゲインを提供します。
- より深いアテンションパイプライン は、3 つのインデックスロードブロックと 4 つのギャザーバッチを実行中に維持し、7–10% 高速なデコードカーネルを実現します。
低レイテンシ TP‑8 デコードパス
専用のデコードパイプラインは、ユーザーあたりの最小レイテンシをターゲットにしています。
- 2 つのトレイにまたがる TP‑8 は、わずか 0.3 µs の NVLink ペナルティで GPU あたりの重み読み取りを半分にし、35% のステップ時間削減を実現します。
- SM107 の K64 MMA でのパック FP4 重みステージ は、ステージ数を 7 から 11 に増やし、ステップあたり 57 µs を節約します。
- ダイローカル LM ヘッド は、SM あたりの重みの半分のみをストリーミングし、クロスドメインストールを排除します。
- オールリデュース + mHC 融合 は、GEMM エピローグを Lamport メールボックスに直接公開し、ステップあたり 30 µs を削減します。
- スパース MLA は、ランクあたり 8 ヘッドカーネルを実行し、早期 KV キャッシュ挿入と融合 RoPE によりレイテンシを 16–21 µs 削減します。
- ルーティング GEMM 内の共有エキスパート は、行数が 16 以下のレイヤーの MoE テールを GEMM に移動し、ステップあたり 220 µs を節約します。
- 早期カーネル起動 と レイヤーストリームでの Engram オールギャザー は、ステップあたりさらに 40 µs を削減します。
結果: シングルユーザーワークロード(バッチ 1)では、専用パスが 1,810 トークン/秒(P90)に達し、GB300 ベースラインの 1,117 トークン/秒から向上しました。
Dynamo ワークロード対応ルーティングとラックスケールメモリプール
Rubin の速度により、はるかに高い並行性が可能になり、ランクごとの KV キャッシュの限界が露呈します。vLLM は、ランクごとの CPU ティアを 3 つの共有プールに置き換えます。
- Mooncake KV プール – すべてのプリフィル/デコードトレイにわたる DRAM 全体のストア。任意のランクが RDMA でプレフィックスをロードでき、移動したリクエストを完全な再計算ではなく KV ロードに変換します。保留中のルックアップによってアンダーフィルされたプリフィルステップは、6–14% から <0.5% に低下します。
- HBM プール – 各 GPU の予備 HBM が Mooncake ストアに公開され、KV プールを DRAM を超えて拡張し、GPU メモリの残りを他のランクに使用できるようにします。
- Engram プール – 2 つの 94.4 GiB ハッシュ n-gram テーブルがピアグループの HBM 全体に分割され(GPU あたり約 10.5 GiB)、ホストメモリの代わりに NVLink 経由でアクセスされるため、ホスト RAM が約 1,500 の追加セッション分解放されます。
ワークロード対応ルーティング(Dynamo)は、各リクエストを未キャッシュ作業が最も少ないランクに割り当て、セッションアフィニティによる DP 不均衡を排除します。4,800 並行性シミュレーションでは、プールとルーティングの組み合わせにより以下が実現されます。
- 1 秒あたりのリクエスト数が 68% 増加
- TTFT P50 が 29.8 秒 → 4.2 秒に短縮
- ヒット率 が 91.8% → 96.1% に向上
- アイドルランク時間 が 10.3% → 1.3% に削減
パフォーマンス概要
| メトリック | Vera Rubin NVL72 | GB300 NVL72 | 高速化 |
|---|---|---|---|
| GPU あたりのトークン/秒(合計) | 1.7M | 29k | 58× |
| ユーザーあたりのトークン/秒(標準) | 387 | 6.7 | 58× |
| ラック全体のピークスループット | 2.52M | 43k | 58× |
| 低レイテンシのユーザーあたりレート(TP‑8) | 1,810 トークン/秒 | 1,117 | 1.6× |
すべての数値は、現実的なエージェント型サービングワークロードを反映する SemiAnalysis AgentX ベンチマークで測定されています。
影響
- スケールアウトサービング – Rubin 最適化スタックは、単一の NVL72 ラックが高スループット LLM サービング用の数十の古いラックを置き換えることができ、ハードウェアフットプリントと消費電力を劇的に削減できることを示しています。
- レイテンシクリティカルなアプリケーション – TP‑8 パスは、ユーザーあたり 2k トークン/秒未満のレートを実証し、スケールでの応答性の高いチャットやツール呼び出しインターフェースを可能にします。
- メモリ中心のルーティング – ラック全体の KV および Engram プールと Dynamo のワークロード対応ルーティングを組み合わせることで、ランクごとのセッションピニングの必要性がなくなり、オーケストレーションが簡素化され、利用率が向上します。
- 将来のハードウェア – 最適化は Rubin のデュアルドメインメモリと SM107 MMA に大きく依存しています。同様のメモリ局所性と混合精度テンソルコアを備えた将来の GPU でも同様のゲインが期待されます。
謝辞
DeepSeek が DeepSeek‑V4.1‑Flash をオープンソース化したこと、NVIDIA が Vera Rubin NVL72 への早期アクセスを提供したこと、Mooncake チームが KV ストアを提供したことに感謝します。カーネル作業での協力に対して Hanjie Qiu、Lisa Wang、Jie Hao、Yaoyao Ding、Pei Li、Xin Li、Pen Chung Li に特に感謝し、AgentX ベンチマークについて SemiAnalysis に感謝します。
脚注
- DEP2、DEP16、DEP32 は、それぞれ 2、16、32 GPU にわたるデータ並列アテンションとエキスパート並列処理を表します。