vLLMのMistral Large 4に対するDay 0サポート

vLLMは、Mistralの最新のフロンティアMixture-of-Experts (MoE) マルチモーダルモデルであるMistral Large 4に対する完全なDay 0サポートを発表しました。この統合により、新しいモデルランナー (MRV2) を通じた高性能な推論が可能になり、クロスレイヤーKV共有、NoPEレイヤー、DSpark投機的デコードといった高度なアーキテクチャ機能のサポートが含まれています。

モデルアーキテクチャと機能

Mistral Large 4は、128個のルーティングされたエキスパート（top-4選択）と1個の共有エキスパートを持つ72層のMoEモデルです。DeepSeekスタイルのスパースアテンションスタックを採用しており、Multi-Head Latent Attention (MLA) やDSAスパースインデクサーが含まれています。主なアーキテクチャのハイライトは以下の通りです。

• パラメータ: 合計1兆パラメータ、トークンあたり490億がアクティブ。
• マルチモーダル: プロンプトごとに複数の画像をサポートするPixtralビジョンエンコーダーを統合。
• 効率性: 9つのNoPEレイヤーがレイヤー35から潜在キャッシュを読み取るクロスレイヤーKV共有を使用し、メモリオーバーヘッドを大幅に削減。
• 量子化: FP8 (ブロックスケール) とNVFP4フォーマットの両方をサポート。後者は主要なベンチマークでFP8の性能と0.3ポイント以内の差に収まりつつ、KVキャッシュ容量を1.5倍に拡大。

パフォーマンスの最適化

vLLMの実装では、モデルの規模と長いコンテキスト要件に対応するためにいくつかの最適化が導入されています。

• Decode Context Parallelism (DCP): 潜在KVキャッシュをテンソル並列ランク間でシャード化し、TP8 FP8構成で最大18.88MトークンまでKV容量を大幅に増加。
• DSpark Speculative Decoding: スライディングウィンドウMLAレイヤーを使用してステップあたり約2.9トークンを達成し、出力スループットを約2倍にする組み込みドラフター。
• Disaggregated Serving (NIXL): プリフィル/デコードの分離をサポートし、計算負荷の高いプリフィルノードとメモリ負荷の高いデコードノードの独立したスケーリングを実現。
• HiSparse: ホストメモリへのスパースKVオフロードを有効化。クロスレイヤーKV共有と互換性があり、非常駐KVをピン留めされたホストメモリに保持することでコンテキストウィンドウを拡張。

ハードウェアサポート

標準的なNVIDIA GPUのデプロイメントに加え、今回のリリースにはROCmを介したAMD Instinct MI350シリーズGPUのDay 0サポートが含まれています。これには以下が含まれます。

• MXFP4 Experts: エキスパートに対するOCP MXFP4量子化のサポート。メモリフットプリントを削減し、1Tモデルを4基のMI350 GPUで実行可能に。
• AITER Integration: 融合されたMoE演算、MLAデコードカーネル、最適化されたall-reduce演算のためのAMDのAITERカーネルライブラリの活用。
• Specialized Decode: 低並行性サービング向けのレイテンシ最適化パス。MoEレイヤーを永続的なカーネル起動に融合し、トークンあたりのレイテンシを大幅に削減。

デプロイメント

Mistral Large 4は vllm/vllm-openai:mistral-large-4 Dockerイメージを通じて利用可能です。ユーザーは、テンソル並列処理、投機的デコード、ツールコール解析のための標準的なvLLMフラグを使用してモデルを構成できます。この実装はTPU v7x環境もサポートしており、スパースMLAおよびDSAインデクサーカーネルに vllm-torchtpu を活用しています。