DeepSeek-V4.1-Flash on vLLM: 5x Agentic Throughput Optimization

vLLM と Inferact は、DeepSeek-V4.1-Flash のサービングを最適化し、150 TPS の制約下で 5.3× のスループット向上、低並列性では 1.9× の高速化を達成しました。これらの向上は、SWA バウンデッドリプレイの実装と、MegaAttention、Mega-mHC、Mega-Gate といった高性能カーネルの統合によって実現されています。

SWA バウンデッドリプレイによるプリフィル効率化

SWA バウンデッドリプレイは、正確性を犠牲にすることでプリフィルの計算とメモリオーバーヘッドを削減し、GSM8K および GPQA ベンチマークでの検証により、モデル品質への影響はほとんどないことが確認されています。

KV キャッシュとプリフィルコストの削減

DeepSeek-V4.1-Flash は、2 つの KV キャッシュを使用しています：圧縮されたグローバル KV（FP4、1 トークンあたり約 890 バイト）と、非圧縮されたスライディングウィンドウ（SWA）KV（FP8、40 層にわたる最後の 128 位置をカバー）。プリフィル時に層 21–39 の冗長な計算を避けるために、vLLM は SWA バウンデッドリプレイを実装しています。この手法では、最後の 128 トークンのみを再実行し、リプレイ開始時点での SWA ウィンドウを切り詰めます。

エンコーダ側のリプレイ： vLLM はグローバル KV のみをキャッシュします。長さ H のプリフィックスヒットの場合、トークン [H − 128, H) を再実行して SWA KV を再構築します。
デコーダ側のリプレイ： 因果関係のあるエンコーダデコーダ（CED）アーキテクチャでは、vLLM は各トークンに対して層 20 を実行してグローバル KV を生成しますが、層 21–39 は各リクエストの最後の 128 トークンに対してのみ実行し、長文プロンプトではほぼ半分のモデルをスキップします。

CUDA Graphs によるトリムされた層の加速

層 21–39 はトリム後、GPU 上での作業が最小限になるため、カーネル起動のオーバーヘッドが支配的になります。vLLM は、全バッチの層 0–20 と、トリムされたバッチの層 21–39 を別々にキャプチャする、破壊可能な PIECEWISE グラフを使用しています。この最適化により、特に起動オーバーヘッドが主なボトルネックとなる短いプロンプトにおいて、プリフィルの計算時間を 30–40% 削減できます。

カーネルレベルの最適化

vLLM は DeepSeek から提供された複数のオープンソースカーネルを統合し、メモリのラウンドトリップを排除し、演算を結合しています。

特化した Mega カーネル

Mega-mHC： mHC チェーン（post step、delayed-pre step、RMSNorm）を 1 つのカーネルに統合し、NVIDIA GB200 では以前の TileLang バージョンと比較して 1.14–1.51× 速くなりました。
Mega-Gate： MoE ルーター（gate GEMM、エキスパートスコアリング、バイアス、top-k 選択）を統合し、中程度のバッチサイズでカーネル速度が 1.18–1.31× 向上しました。
MegaAttention： クエリ RoPE、スパースアテンション、逆 RoPE、FP8 変換を 1 回の起動で実行します。新しい NVFP4 圧縮 KV 形式を採用しており、FP8 より 45% 小さく、カーネル効率を 1.45× 向上させています。

ラテントシーとメモリの最適化

mHC マルチストリームオーバーラップ： アテンションと FFN と並行して、次の mHC ブロックの係数を別 CUDA ストリームで計算することで、TP4 の低ラテントシー環境でラテントシーを約 4% 減少させます。
スパース MQA ロジット： 全コンテキストではなく、候補位置のみをスコアリングします。NVIDIA GB300 では 8K トークンでは 1.2×、512K トークンでは 14–23× 速くなり、1M コンテキストではプリフィル速度が 2× 向上します。
低ラテントシー融合 WO-A カーネル： Blackwell 上で、逆 RoPE、FP8 量子化、WO-A バッチ GEMM、MXFP8 再量子化を融合し、小さなデコードバッチでのトークン間ラテントシーを 6–7% 減少させます。
Engram 最適化： CPU オフロードされた Engram の参照を非同期プリフェッチし、透明な巨大ページ（THP）をサポートします。これにより、プリフィル時の参照カーネルが最大 10× 速くなります。

Agentic サービングパフォーマンス

SemiAnalysis AgentX ベンチマークを使用して、vLLM は初期実装と比較して顕著な改善を示しました。

スループットとラテントシーのトレードオフ

低ラテントシーサービング： FlashInfer アテンションと TP4 を使用することで、vLLM は 1.9× の高速化を達成しました。この特定の低並列性・メモリ帯域幅制限のシナリオでは、FlashInfer が MegaAttention よりも高速であることが判明しました。
高スループットサービング： DEP2 と DP アテンション、MegaAttention を使用することで、vLLM は 5× のスループット向上を達成しました。DP アテンションは GPU 間での KV キャッシュの重複を回避し、NVFP4 圧縮により GPU 1 つあたりの並列性がさらに向上します。

TTFT の改善

約 100K のスループットで、最初のトークンまでの時間（TTFT）はほぼ 70% 減少しました。この削減は、SWA バウンデッドリプレイ（プリフィル計算を半分に削減）、CUDA グラフ（CPU 起動オーバーヘッドを最小化）、および一般的なカーネル加速の組み合わせによるものです。