vLLM Day-0 サポート: Inkling 2 Small — 594B MoE、1M コンテキスト、ユーザーあたり 630 TPS
vLLM は、Thinking Machines の Inkling 2 Small に対して Day-0 サポートを提供します。これは、テキストと画像を処理するマルチモーダル MoE モデルで、総パラメータ数 594B、アクティブパラメータ数 17B、最大 1M トークンのコンテキストを備えています。この統合が重要なのは、vLLM がモデル公開時に最適化されたサービングを提供するためです。これには、混合精度 MoE 実行、ネイティブ DSpark スペキュレーター、LoRA サポート、長文コンテキストのエージェントワークロード向けにチューニングされたカーネルが含まれます。
TL;DR
- 総パラメータ 594B、アクティブ 17B、1M コンテキスト。 Inkling 2 Small は 48 層の MoE で、384 エキスパート(top-8)を持ち、画像とテキストを入力としてテキストを出力します。
- Inkling からのアーキテクチャアップグレード。 ブロックアテンション残差、アテンションシンク、ゲート付きアテンション、ViT 画像エンコーダーが追加されています。
- 混合精度 MoE。 MoE はレイヤー 0〜39 で NVFP4、レイヤー 40〜47 で MXFP8 を使用するため、モデルは単一ノードでサービング可能です。
- ネイティブ DSpark スペキュレーター。 RNN ヘッドを備えた DSpark が、各ステップで 7 トークンをドラフトします。
- 広範な最適化。 カーネル融合、PDL、チューニング済み Gluon アテンションカーネル、シーケンス並列処理により、GB200 上の TP4 でユーザーあたり最大 630 TPS、受容長 3.5 を達成します。
- RL と LoRA サポート。 vLLM は SkyRL による RL と、このモデル向けの LoRA をサポートします。
サービングコマンド
このモデルは、テンソル並列処理、Inkling の推論およびツール呼び出しパーサー、自動ツール選択、DSpark 投機的デコードを使用して vLLM でサービングできます:
vllm serve thinkingmachines/Inkling-2-Small \
--tensor-parallel-size 8 \
--reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
--speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'
モデルアーキテクチャ
Inkling 2 Small は Inkling のバックボーンを維持しつつ、新しいアーキテクチャコンポーネントを追加しています。バックボーンには、スライディングウィンドウとフルアテンションの 5:1 ミックス、RoPE の代わりに学習済み相対バイアスを使用した GQA、各レイヤーにカーネルサイズ 4 の 4 つのショート畳み込み、シグモイドルーティング MoE が含まれます。
このモデルは 48 層で構成され、40 層がスライディングウィンドウ、8 層がフルアテンションです。全レイヤーで 48 クエリヘッドと 8 KV ヘッドを使用し、スライディングウィンドウは 1,024 トークンです。MoE は 384 のルーティングエキスパート(top-8 ルーティング)を持ち、共有エキスパートはなく、全レイヤーで MoE を使用します。
Inkling と比較すると、アーキテクチャの変更は大幅です:
| コンポーネント | Inkling | Inkling 2 Small |
|---|---|---|
| レイヤー | 66(55 スライディングウィンドウ + 11 フル) | 48(40 スライディングウィンドウ + 8 フル) |
| 残差パス | 残差ストリーム | ブロックアテンション残差(6 層 × 8 ブロック) |
| アテンション | 相対バイアス付き GQA、RoPE なし | 同じ |
| ヘッド(クエリ / KV) | 64 / 8 フル、64 / 16 スライディング | 全レイヤーで 48 / 8 |
| スライディングウィンドウ | 512 | 1,024 |
| アテンション出力 | プレーン | シグモイドゲートとトークンごとのシンク |
| ショート畳み込み | 各レイヤーに 4 つ(K、V、アテンション出力、MLP 出力)、カーネルサイズ 4 | 同じ |
| MoE | 256 ルーティング(top-6)+ 2 共有エキスパートシンク、最初の 2 層は dense | 384 ルーティング(top-8)、共有エキスパートなし、全レイヤー MoE |
| エキスパート精度 | NVFP4 | NVFP4(レイヤー 0〜39)、MXFP8(レイヤー 40〜47) |
| モダリティ | テキスト、画像、音声入力;テキスト出力 | テキスト、画像入力;テキスト出力 |
| 画像エンコーダー | 40×40 パッチ上の 4 層 hMLP | 20×20 パッチ上の 23 層 ViT(幅 1,024) |
| 投機的デコード | 8 連鎖 MTP ヘッド | DSpark ドラフト、各ステップ 7 トークン |
ブロックアテンション残差が残差ストリームを置き換えます。各サブレイヤーの前に、学習済みクエリが以前の 6 層ブロックの出力を混合します。ゲート付きアテンションは、各ヘッドの出力にシグモイドゲートを適用し、トークンごとのアテンションシンクを追加します。画像エンコーダーは 23 層 ViT(幅 1,024)で、20×20 パッチを処理し、Inkling の 40×40 パッチ上の 4 層 hMLP エンコーダーを置き換えます。
混合精度 MoE(Four-Over-Six NVFP4)
Inkling 2 Small は、48 層にわたって混合エキスパート精度を使用します。最初の 40 層のエキスパートは NVFP4 を使用し、最後の 8 層のエキスパートは MXFP8 を使用します。この混合精度設計により、モデルは単一ノードでサービング可能です。
NVFP4 アクティベーションは、トークンごとのグローバルスケールとデュアル候補ブロックスケールを使用します。これは Four Over Six と呼ばれる方式です。16 要素ブロックごとに、量子化器はブロックの最大値を 6 と 4 にスケーリングすることを試み、MAE で測定した再構成誤差が低い方の候補を保持します。
RNN ヘッドを備えた DSpark スペキュレーター
チェックポイントには、Inkling の 8 連鎖 MTP ヘッドの代わりに DSpark ドラフトが同梱されています。スペキュレーターは 5 層で、各ステップで 7 トークンをドラフトします。そのヘッドは、DeepSeek の DSpark 論文で説明されている RNN バリアントです。
vLLM 統合と最適化
vLLM の統合は、モデル固有のボトルネックを対象としています:メモリバウンドなサブレイヤー境界、MoE アクティベーション量子化、テンソル並列処理下での冗長なプリフィル作業、モデルの GQA 比による遅いデコードアテンション。
カーネル融合と PDL
vLLM は、サブレイヤー間の集団通信とメモリバウンド操作を単一のカーネルに融合します。ブロックアテンション残差では、各境界でオールリデュース、ショート畳み込み、残差更新、アテンション残差混合、RMSNorm が必要です。これらは、同じ隠れ状態に対する 5 つのメモリバウンドステップです。
融合カーネル allreduce_conv_mix は、NVLink マルチキャストでオールリデュースを実行し、その後のすべてをレジスタに保持します。GEMM、アテンション、ルーティング、アクティベーションカーネルは、プログラム依存起動(PDL)で起動されるため、各カーネルのプロローグは前のカーネルのテールとオーバーラップします。これは、デコードステップが短いカーネルの長いチェーンとなる小さなバッチサイズで重要です。
融合アクティベーション量子化を備えた MoE
vLLM は、エキスパートアクティベーションを生成するカーネル内で量子化し、各レイヤーの NVFP4 または MXFP8 精度に一致させます。隠れ状態に触れる別の量子化パスはありません。ルーティングカーネルは、ゲート/アッププロジェクションの前にトークンを量子化し、softcapped SwiGLU はダウンプロジェクションの前にその出力を量子化します。エキスパート GEMM は、FlashInfer に同梱される TensorRT-LLM のバッチ GEMM カーネルで実行されます。
プリフィル用シーケンス並列処理
通常のテンソル並列処理では、各 GPU がオールリデュース後にすべてのトークンに対してショート畳み込み、アテンション残差混合、RMSNorm を実行します。同じ作業がすべてのランクで繰り返されます。これはデコードでは低コストですが、プリフィルでは高コストです。
vLLM はシーケンス並列処理で冗長性を排除します。各 GPU は reduce-scatter を実行し、ショート畳み込み、残差更新、アテンション残差混合、RMSNorm を融合した conv_mix カーネルで自分のトークンスライスのみに対して実行し、次の GEMM のために結果を all-gather します。これにより、8K トークンのプリフィルステップが TP4 で 22%、TP8 で 26% 削減され、KV キャッシュ用に GPU あたり 1.3〜1.9 GiB が解放されます。
デコード用に最適化された Gluon 相対アテンションカーネル
Inkling の FlashAttention-4 デコードパスは、Inkling 2 Small では遅いです。6:1 の GQA 比が GQA パッキングを暗黙的に無効にするためです。vLLM は、デコードと検証用にワープ特化型 Gluon カーネルを作成し、6 ヘッドを 1 つの 64 行タイルにパックして KV を 1 回読み取ります。TMA ワープが KV をストリーミングし、tcgen05 ワープが MMA を実行し、4 つのソフトマックスワープが相対バイアスを適用します。
バッチ 1 のデコードステップは、100K コンテキストで 15.1 ミリ秒から 4.8 ミリ秒に短縮されます。プリフィルは Inkling の sheared-bias FlashAttention-4 パスを維持します。
パフォーマンス
vLLM は、エージェントワークロードで Inkling 2 Small を TP8(2 つの 4-GPU ノード)でベンチマークし、DSpark 確率的ドラフトとプレフィックスキャッシュを使用しました。各セッションは長いコンテキストを維持し、毎ターンで前の回答と約 2K トークンのツール出力を追加するため、ターンごとに約 3K トークンだけが新規です。各ターンは、温度 1.0 で推論オンにして 1,024 トークンを生成します。
以下の表は、各ユーザーが 100 トークン/秒を得る同時実行数での GPU あたりの出力スループットを示しています:
| セッションコンテキスト | 100 tok/s/ユーザーでの GPU あたりの出力 tok/s | 同時セッション数 | プレフィックスキャッシュヒット率 | 受容長 |
|---|---|---|---|---|
| 32K | ~1,070 | ~84 | 91% | 3.3 |
| 64K | ~915 | ~72 | 95% | 3.4 |
| 128K | ~700 | ~55 | 98% | 3.5 |
| 256K | ~450 | ~37 | 99% | 3.5 |
TP4 の単一ユーザーでは、モデルは受容長 3.5 で約 630 tok/s でデコードします。
精度評価
vLLM は参照実装の数値精度を維持しています:すべてのステップで同じデータ型、FP32 アテンション出力とルーター、同じ NVFP4/MXFP8 アクティベーション量子化。異なるのは、リダクション順序とオールリデュースの BF16 部分和のみです。
エンドツーエンドで、vLLM は DSpark を有効にして、NIAH(最大 1M トークン)、MMMU-Pro、HLE で inkling-verify を使用して精度を検証しました。スコアは、投機的デコードなしの vLLM 実行と一致します。
影響
Inkling 2 Small は、1M トークンのコンテキストウィンドウを持つ大規模なスパースマルチモーダルモデルであり、vLLM の Day-0 サポートにより、単一ノードで混合 NVFP4/MXFP8 エキスパート精度でサービング可能であることを示しています。この統合は、アーキテクチャ認識カーネル、融合通信と正規化、プリフィル用シーケンス並列処理、カスタム Gluon デコードカーネルを組み合わせて、長文コンテキストのエージェントサービングを実用的にします。vLLM はまた、このモデル向けに LoRA と SkyRL による RL をサポートします。