vLLM Kimi K3 サポートプレビュー
vLLM Kimi K3 サポートプレビュー
vLLMは、Moonshot AIのKimi K3（2.8兆パラメーターモデル）向けのday-0オープンソースサービングサポートの準備を進めています。この統合により、オープンソースコミュニティは、モデルのウェイトリリース時に即座にKimi K3をデプロイできます（リリース日は2026年7月27日予定）。
Kimi K3 アーキテクチャとサービングへの影響
Kimi K3は、推論エンジンの要件を変更するいくつかのアーキテクチャの変更を導入します。このモデルは、100万トークンのコンテキストウィンドウと、896のルーティング済みエキスパート（トークンあたり16アクティブ）および共有エキスパートを含む高度にスパースなMixture-of-Experts（MoE）アーキテクチャを特徴とします。
主要な技術仕様とそのサービングへの影響は以下の通りです：
| プロパティ | Kimi K3の構成 | サービングへの影響 |
|---|---|---|
| モデルスケール | 2.8Tパラメータ | 大規模なエキスパート並列処理と高帯域幅アクセラレータドメインが必要 |
| コンテキスト長 | 1Mトークン | キャッシュ容量、プレフィックス再利用、およびプリフィル/デコードの分離を優先 |
| アテンション | ハイブリッド KDA とフルアテンション | リカレント状態キャッシュとページド KV キャッシュの同時管理が必要 |
| 深度 | Attention Residual (AttnRes) | クロスレイヤー表現の読み書きのための専用カーネルが必要 |
| 量子化 | MXFP4ウェイト | Kimi K3のSiTU活性化をサポートする効率的なFP4 MoEパスが必要 |
| マルチモダリティ | ネイティブビジョン | マルチモーダルプリプロセッシングとビジョン並列処理戦略が必要 |
KDAのプレフィックスキャッシングの解決
Kimi Delta Attention (KDA)は再帰的であり、これはトークンごとのKVペアを保持する代わりに、行列のような再帰状態と短い畳み込み状態を進めることを意味します。これにより、従来のプレフィックスキャッシングに課題が生じます。エンジンは、以前の状態を再生しないように、正確なプレフィックス境界でのKDA状態を保持する必要があるからです。
これを解決するために、vLLMは以前にリンクされていた3つの概念を分離する設計を実装しました：
- 物理ブロックサイズ： GPU上でのKDA状態とフルアテンションKVの割り当て
- スケジューラーアラインメント： キャッシュグループの整合性を確保するために実行が停止するポイント
- プレフィックスマッチユニット： 共有プレフィックスのハッシュとマッチングに使用される細粒度のトークン間隔
この分離により、vLLMはより大きな物理状態ブロック内の細粒度の境界で有効なKDA状態を登録できるようになります。その後のリクエストが部分ブロックに一致すると、キャッシュされた状態がプライベートな宛先（コピーオンライト）にコピーされ、共有プレフィックスが保持されたまま新しいリクエストが進行できます。
パフォーマンス最適化とカーネル作業
Kimi K3は推論の「ホットパス」を変更するため、vLLMはハードウェア固有およびアーキテクチャ固有のいくつかの最適化を実装しています：
KDAプリフィルとデコード
プリフィルはFlashKDAとFlash Linear Attention (FLA)を統合し、入射射影と因果畳み込みを融合します。デコードでは、vLLMは短い畳み込み、KDA状態更新、出力ゲート、および正規化を単一の操作に結合する融合されたNVIDIAカーネルを使用し、トークンあたりの出力時間（TPOT）ペナルティを削減します。
アテンション残差 (AttnRes)
過剰なメモリトラフィックを引き起こさずにクロスレイヤー表現の読み取りを処理するため、vLLMは残差更新、AttnResミキシング、および出力RMSNormを融合するTritonおよびNVIDIAカーネルを使用します。
MLAモジュールとPDディスアグリゲーション
Kimi K3は4層ごとにMLAアテンションを使用します。vLLMは、torch.compile カスタムフュージョンを手動で融合されたMLAモジュールに置き換えました。このモジュールは、プリフィル・デコード（PD）分離デプロイメントに最適化された別々のプリフィルとデコードパスを特徴とし、デコードパスのゲート射影に対するマルチストリームサポートを含みます。
MXFP4 MoEとハードウェアサポート
Kimi K3のリリース構成では、MXFP4ウェイトとSiTU活性化が使用されます。vLLMは現在、MXFP4 TRTLLM-GenとDeepGEMMを介してSiTUパラメータを最適化されたFP4エキスパートパスにマッピングします。
ハードウェアサポートには以下が含まれます：
- NVIDIA: 特定カーネルの最終チューニングとMXFP4 MoEコラボレーション
- AMD: FlyDSLのMLIR Pythonカーネルスタックを介した初期サポート。ハードウェアチューンされたA16W4/A8W4量子化融合演算子とSiTU活性化を特徴とします。
Day-0リリースパッケージ
オープンソースリリースには、vLLMモデル、パーサー、キャッシュ、カーネル統合が含まれ、さらにNVIDIA構成向けの初期Dockerイメージと検証済みの起動レシピも提供されます。また、FlyDSL MoEカーネルを使用した初期のAMDパス、マルチモーダルの例、ツール使用、推論、構造化出力の例、および初期のパフォーマンス結果も提供されます。