vLLM パフォーマンスベンチマーク: Artificial Analysis リーダーボードでトップに立つ

vLLM は Artificial Analysis リーダーボードでトップクラスの性能を達成し、オープンソースの推論エンジンが NVIDIA Blackwell Ultra シリコン上でプロプライエタリスタックを上回ることを示しました。主な成果として、DeepSeek V3.2 のユーザーあたり出力スループットが 230 TPS、10,000 トークンのプロンプトに対して Time to First Token (TTFT) が 1 秒未満の Qwen 3.5 397B が1位となっています。

DeepSeek V3.2: カーネル起動オーバーヘッドの削減

DeepSeek V3.2 の性能は、低バッチサイズにおいて生の計算能力よりも GPU カーネル起動オーバーヘッドが主な制約となっていました。vLLM は、アテンションパス全体で積極的な演算融合を実装することで、レイヤーごとに約 33 回のカーネル起動を約 10 回に削減しました。この融合には、Q と KV の正規化、Q と KV の回転埋め込み、インデクサーのレイヤーノルムと回転埋め込み、FP8 量子化、そして KV キャッシュ書き込みが含まれます。

パフォーマンス向上:

  • Fusion Impact: バッチサイズ 1 で 1.28 倍の速度向上を実現（MTP なしで 4× GB200 上のトークン/秒が 85.8 から 109.3 に増加）。
  • Throughput Scaling: 同時実行数 1 の単一 8× B300 ノードで、MTP なしでスループットが 125 tok/s、MTP=1 で 234 tok/s（約 90% のドラフト受容率）、prefill/decode の分離で 262 tok/s（TP=4 + TP=4 + MTP=3）に達しました。
  • Router GEMM Kernel: 小さなデコードバッチサイズ向けの MoE ルーティング次元用の特殊カーネルが、バッチ 1 でさらに 6% の速度向上を提供しました (PR #34302)。
  • TopK Kernel: スパースアテンションインデクサー用の新しいカーネルが、128K コンテキストデコード時のトークンあたりレイテンシを最大 17% 改善しました (PR #37421)。

これらの最適化は、現在 vLLM の DeepSeek V4 サポートの基盤となっています。

MiniMax-M2.5: 投機的デコードとカスタム融合

MiniMax-M2.5 では、vLLM はターゲットを絞ったカーネル融合とカスタム EAGLE3 ドラフトモデルを組み合わせました。このドラフトモデルは TorchSpec（torch ネイティブのオンライン投機的デコードフレームワーク）を使用してトレーニングされ、ライブの vLLM 生成隠れ状態を消費することでベースモデルと同一のトークン分布を再現します。

技術的強化:

  • Speculative Infrastructure: MRV2 パスの改善には、後方位置での受容率を高めるドラフトモデルメタデータの修正 (PR #38311) と、ドラフトプリフィル用の CUDA グラフサポート (PR #37588) が含まれます。
  • QK-Norm Fusion: カスタム fuse_minimax_qk_norm カーネルを実装し、Q と K の分散がテンソルパラレルランク間で削減され、チャネルごとのスケーリングが行われる非標準的なアテンション正規化に対応しました (PR #37045)。
  • Ceiling Performance: 融合と完璧なドラフトモデル（受容率 100%）により、同時実行数 1 でスタックは 326 tok/s に達しました（TP=4、EAGLE3 + 3 投機トークン）。

Qwen 3.5 397B: 線形アテンション最適化

Qwen 3.5 397B は線形アテンションと非標準的な正規化バリアントを利用しており、当初は vLLM の標準 allreduce_rms 融合を回避していたため、デコード時間の約半分が融合されていないデバイス間リデュースに費やされていました。

最適化スイート:

  • Normalization Fix: allreduce_rms 融合パスを更新し、Qwen の特定の正規化バリアントを認識させ、バッチサイズが 1 より大きい場合に約 5% の TPOT 向上を実現しました。
  • Post-Conv Fusion: 線形アテンションアーキテクチャ固有の投影後畳み込みパスに対するカーネル融合を実装しました (PR #37813)。
  • Execution Efficiency: qk-norm + rope パスとデュアルストリーム実行のカーネルレベル最適化を統合し、独立した計算ブランチを重ね合わせました。

実運用結果:

  • Concurrency 1: 163 tok/s に達しました（TEP=8、post-conv 融合）。
  • Concurrency 256: 7.33 req/s に達し、ベースラインの 6.69 req/s より 10% 増加しました。

オープンソース推論への影響

上記のすべての最適化（DeepSeek V3.2 のアテンションパス融合、MiniMax EAGLE3 のレシピ、Qwen 3.5 の融合を含む）は、すでに vLLM のメインブランチにマージされているか、現在進行中です。これにより、これらのベンチマークで得られた性能向上がオープンソースエンジンのすべてのユーザーに提供され、最高の推論性能にはプロプライエタリなソフトウェアスタックが必要という前提に挑戦します。

Sources