vLLM Day-0 サポート: Inkling 2 Small — 594B MoE、1M コンテキスト、ユーザーあたり 630 TPS

vLLM は、Thinking Machines の Inkling 2 Small に対して Day-0 サポートを提供します。これは、テキストと画像を処理するマルチモーダル MoE モデルで、総パラメータ数 594B、アクティブパラメータ数 17B、最大 1M トークンのコンテキストを備えています。この統合が重要なのは、vLLM がモデル公開時に最適化されたサービングを提供するためです。これには、混合精度 MoE 実行、ネイティブ DSpark スペキュレーター、LoRA サポート、長文コンテキストのエージェントワークロード向けにチューニングされたカーネルが含まれます。

TL;DR

  • 総パラメータ 594B、アクティブ 17B、1M コンテキスト。 Inkling 2 Small は 48 層の MoE で、384 エキスパート(top-8)を持ち、画像とテキストを入力としてテキストを出力します。
  • Inkling からのアーキテクチャアップグレード。 ブロックアテンション残差、アテンションシンク、ゲート付きアテンション、ViT 画像エンコーダーが追加されています。
  • 混合精度 MoE。 MoE はレイヤー 0〜39 で NVFP4、レイヤー 40〜47 で MXFP8 を使用するため、モデルは単一ノードでサービング可能です。
  • ネイティブ DSpark スペキュレーター。 RNN ヘッドを備えた DSpark が、各ステップで 7 トークンをドラフトします。
  • 広範な最適化。 カーネル融合、PDL、チューニング済み Gluon アテンションカーネル、シーケンス並列処理により、GB200 上の TP4 でユーザーあたり最大 630 TPS、受容長 3.5 を達成します。
  • RL と LoRA サポート。 vLLM は SkyRL による RL と、このモデル向けの LoRA をサポートします。

サービングコマンド

このモデルは、テンソル並列処理、Inkling の推論およびツール呼び出しパーサー、自動ツール選択、DSpark 投機的デコードを使用して vLLM でサービングできます:

vllm serve thinkingmachines/Inkling-2-Small \
  --tensor-parallel-size 8 \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

モデルアーキテクチャ

Inkling 2 Small は Inkling のバックボーンを維持しつつ、新しいアーキテクチャコンポーネントを追加しています。バックボーンには、スライディングウィンドウとフルアテンションの 5:1 ミックス、RoPE の代わりに学習済み相対バイアスを使用した GQA、各レイヤーにカーネルサイズ 4 の 4 つのショート畳み込み、シグモイドルーティング MoE が含まれます。

このモデルは 48 層で構成され、40 層がスライディングウィンドウ、8 層がフルアテンションです。全レイヤーで 48 クエリヘッドと 8 KV ヘッドを使用し、スライディングウィンドウは 1,024 トークンです。MoE は 384 のルーティングエキスパート(top-8 ルーティング)を持ち、共有エキスパートはなく、全レイヤーで MoE を使用します。

Inkling と比較すると、アーキテクチャの変更は大幅です:

コンポーネント Inkling Inkling 2 Small
レイヤー 66(55 スライディングウィンドウ + 11 フル) 48(40 スライディングウィンドウ + 8 フル)
残差パス 残差ストリーム ブロックアテンション残差(6 層 × 8 ブロック)
アテンション 相対バイアス付き GQA、RoPE なし 同じ
ヘッド(クエリ / KV) 64 / 8 フル、64 / 16 スライディング 全レイヤーで 48 / 8
スライディングウィンドウ 512 1,024
アテンション出力 プレーン シグモイドゲートとトークンごとのシンク
ショート畳み込み 各レイヤーに 4 つ(K、V、アテンション出力、MLP 出力)、カーネルサイズ 4 同じ
MoE 256 ルーティング(top-6)+ 2 共有エキスパートシンク、最初の 2 層は dense 384 ルーティング(top-8)、共有エキスパートなし、全レイヤー MoE
エキスパート精度 NVFP4 NVFP4(レイヤー 0〜39)、MXFP8(レイヤー 40〜47)
モダリティ テキスト、画像、音声入力;テキスト出力 テキスト、画像入力;テキスト出力
画像エンコーダー 40×40 パッチ上の 4 層 hMLP 20×20 パッチ上の 23 層 ViT(幅 1,024)
投機的デコード 8 連鎖 MTP ヘッド DSpark ドラフト、各ステップ 7 トークン

ブロックアテンション残差が残差ストリームを置き換えます。各サブレイヤーの前に、学習済みクエリが以前の 6 層ブロックの出力を混合します。ゲート付きアテンションは、各ヘッドの出力にシグモイドゲートを適用し、トークンごとのアテンションシンクを追加します。画像エンコーダーは 23 層 ViT(幅 1,024)で、20×20 パッチを処理し、Inkling の 40×40 パッチ上の 4 層 hMLP エンコーダーを置き換えます。

混合精度 MoE(Four-Over-Six NVFP4)

Inkling 2 Small は、48 層にわたって混合エキスパート精度を使用します。最初の 40 層のエキスパートは NVFP4 を使用し、最後の 8 層のエキスパートは MXFP8 を使用します。この混合精度設計により、モデルは単一ノードでサービング可能です。

NVFP4 アクティベーションは、トークンごとのグローバルスケールとデュアル候補ブロックスケールを使用します。これは Four Over Six と呼ばれる方式です。16 要素ブロックごとに、量子化器はブロックの最大値を 6 と 4 にスケーリングすることを試み、MAE で測定した再構成誤差が低い方の候補を保持します。

RNN ヘッドを備えた DSpark スペキュレーター

チェックポイントには、Inkling の 8 連鎖 MTP ヘッドの代わりに DSpark ドラフトが同梱されています。スペキュレーターは 5 層で、各ステップで 7 トークンをドラフトします。そのヘッドは、DeepSeek の DSpark 論文で説明されている RNN バリアントです。

vLLM 統合と最適化

vLLM の統合は、モデル固有のボトルネックを対象としています:メモリバウンドなサブレイヤー境界、MoE アクティベーション量子化、テンソル並列処理下での冗長なプリフィル作業、モデルの GQA 比による遅いデコードアテンション。

カーネル融合と PDL

vLLM は、サブレイヤー間の集団通信とメモリバウンド操作を単一のカーネルに融合します。ブロックアテンション残差では、各境界でオールリデュース、ショート畳み込み、残差更新、アテンション残差混合、RMSNorm が必要です。これらは、同じ隠れ状態に対する 5 つのメモリバウンドステップです。

融合カーネル allreduce_conv_mix は、NVLink マルチキャストでオールリデュースを実行し、その後のすべてをレジスタに保持します。GEMM、アテンション、ルーティング、アクティベーションカーネルは、プログラム依存起動(PDL)で起動されるため、各カーネルのプロローグは前のカーネルのテールとオーバーラップします。これは、デコードステップが短いカーネルの長いチェーンとなる小さなバッチサイズで重要です。

融合アクティベーション量子化を備えた MoE

vLLM は、エキスパートアクティベーションを生成するカーネル内で量子化し、各レイヤーの NVFP4 または MXFP8 精度に一致させます。隠れ状態に触れる別の量子化パスはありません。ルーティングカーネルは、ゲート/アッププロジェクションの前にトークンを量子化し、softcapped SwiGLU はダウンプロジェクションの前にその出力を量子化します。エキスパート GEMM は、FlashInfer に同梱される TensorRT-LLM のバッチ GEMM カーネルで実行されます。

プリフィル用シーケンス並列処理

通常のテンソル並列処理では、各 GPU がオールリデュース後にすべてのトークンに対してショート畳み込み、アテンション残差混合、RMSNorm を実行します。同じ作業がすべてのランクで繰り返されます。これはデコードでは低コストですが、プリフィルでは高コストです。

vLLM はシーケンス並列処理で冗長性を排除します。各 GPU は reduce-scatter を実行し、ショート畳み込み、残差更新、アテンション残差混合、RMSNorm を融合した conv_mix カーネルで自分のトークンスライスのみに対して実行し、次の GEMM のために結果を all-gather します。これにより、8K トークンのプリフィルステップが TP4 で 22%、TP8 で 26% 削減され、KV キャッシュ用に GPU あたり 1.3〜1.9 GiB が解放されます。

デコード用に最適化された Gluon 相対アテンションカーネル

Inkling の FlashAttention-4 デコードパスは、Inkling 2 Small では遅いです。6:1 の GQA 比が GQA パッキングを暗黙的に無効にするためです。vLLM は、デコードと検証用にワープ特化型 Gluon カーネルを作成し、6 ヘッドを 1 つの 64 行タイルにパックして KV を 1 回読み取ります。TMA ワープが KV をストリーミングし、tcgen05 ワープが MMA を実行し、4 つのソフトマックスワープが相対バイアスを適用します。

バッチ 1 のデコードステップは、100K コンテキストで 15.1 ミリ秒から 4.8 ミリ秒に短縮されます。プリフィルは Inkling の sheared-bias FlashAttention-4 パスを維持します。

パフォーマンス

vLLM は、エージェントワークロードで Inkling 2 Small を TP8(2 つの 4-GPU ノード)でベンチマークし、DSpark 確率的ドラフトとプレフィックスキャッシュを使用しました。各セッションは長いコンテキストを維持し、毎ターンで前の回答と約 2K トークンのツール出力を追加するため、ターンごとに約 3K トークンだけが新規です。各ターンは、温度 1.0 で推論オンにして 1,024 トークンを生成します。

以下の表は、各ユーザーが 100 トークン/秒を得る同時実行数での GPU あたりの出力スループットを示しています:

セッションコンテキスト 100 tok/s/ユーザーでの GPU あたりの出力 tok/s 同時セッション数 プレフィックスキャッシュヒット率 受容長
32K ~1,070 ~84 91% 3.3
64K ~915 ~72 95% 3.4
128K ~700 ~55 98% 3.5
256K ~450 ~37 99% 3.5

TP4 の単一ユーザーでは、モデルは受容長 3.5 で約 630 tok/s でデコードします。

精度評価

vLLM は参照実装の数値精度を維持しています:すべてのステップで同じデータ型、FP32 アテンション出力とルーター、同じ NVFP4/MXFP8 アクティベーション量子化。異なるのは、リダクション順序とオールリデュースの BF16 部分和のみです。

エンドツーエンドで、vLLM は DSpark を有効にして、NIAH(最大 1M トークン)、MMMU-Pro、HLE で inkling-verify を使用して精度を検証しました。スコアは、投機的デコードなしの vLLM 実行と一致します。

影響

Inkling 2 Small は、1M トークンのコンテキストウィンドウを持つ大規模なスパースマルチモーダルモデルであり、vLLM の Day-0 サポートにより、単一ノードで混合 NVFP4/MXFP8 エキスパート精度でサービング可能であることを示しています。この統合は、アーキテクチャ認識カーネル、融合通信と正規化、プリフィル用シーケンス並列処理、カスタム Gluon デコードカーネルを組み合わせて、長文コンテキストのエージェントサービングを実用的にします。vLLM はまた、このモデル向けに LoRA と SkyRL による RL をサポートします。

Sources