MiniMax M3 vLLM サポート：1M トークンマルチモーダル推論の Day-0 サービング

MiniMax M3 vLLM サポート：1Mトークンマルチモーダル推論の Day-0 サービング

vLLM は MiniMax M3 モデルファミリー（BF16 と MXFP8 チェックポイントを含む）に対する Day-0 サポートを発表しました。このリリースにより、百万トークン規模のコンテキスト、ネイティブなマルチモーダル推論、ツール使用と制御可能な思考行動を伴うエージェントワークフローを必要とするワークロードのサービングが可能になります。

MiniMax スパースアテンション (MSA) と 1M トークンコンテキスト

MiniMax Sparse Attention (MSA) は、1M トークンコンテキストを実用的にサービングできるようにするコアアーキテクチャのイノベーションです。KV キャッシュ全体に対する密なアテンションの代わりに、MSA はインデックスパスを使用して 128 トークンの KV ブロックをスコア付けし、実際のアテンション計算に最も関連性の高いブロックだけを選択します。

MSA 実行プロセス

すべてのクエリトークンは、アテンション作業を最小化するために 3 段階のプロセスをたどります：

  1. Block Scoring: 小さなインデックスヘッドが候補 KV ブロックにスコアを付けます。
  2. Block Selection: システムは学習されたスコアと設定されたルールに基づいて上位 k ブロックを選択します（例として、現在のレシピは local_blocks=1 を使用し、クエリトークン近傍のローカルウィンドウブロックが保持されるようにしています）。
  3. Sparse GQA: 選択された KV ブロックのみに対してオンラインソフトマックスアテンションが実行されます。

KV キャッシュ統合

MiniMax M3 は KV データを通常のページング KV として保存し、計算パスでスパース性を適用しながら vLLM がシンプルなキャッシュマネージャを維持できるようにします。このアーキテクチャはプレフィックスキャッシングとチャンク化されたプリフィルをサポートし、コードベースやマルチターンエージェントトレースのような長いプロンプトを再利用するワークロードにとって重要です。

マルチモーダル機能とツール使用

MiniMax M3 は、テキストに加えて画像や動画入力を処理できるネイティブなマルチモーダルモデルです。

マルチモーダルリクエストパス

GPU の利用効率を最適化するため、vLLM は CPU 側の前処理（フレームのデコード、動画のサンプリング、画像のリサイズと正規化）を上流で行うパスを実装しています。これにより、vLLM ワーカーは実行準備が整ったテンソルを受け取り、GPU 時間をメディア処理ではなく推論に確保できます。

エージェントワークフロー

このリリースには、エージェント的な振る舞いをサポートするためのモデル固有のパーサーと制御が含まれています：

  1. Tool and Reasoning Parsers: minimax_m3 ツール呼び出しおよび推論パーサーは、モデル固有のテキスト規約を構造化された API 応答に変換します。
  2. Thinking Mode: ユーザーは chat_template_kwargs を通じて、enabled、disabled、adaptive などのモードで思考行動を制御できます。

パフォーマンス最適化とサービングスタック

EAGLE3 を用いた投機的デコード

Day-0 サポートには、Inferact/MiniMax-M3-EAGLE3 ドラフトモデルを使用した EAGLE3 投機的デコードが含まれます。低レイテンシを維持するため、vLLM は MSA デコードカーネルを更新し、統一された decode_query_len をサポートしました。これにより、投機的検証が遅いプリフィルカーネルにフォールバックする代わりに、デコード専用の split‑K パスを使用できるようになります。

ハードウェア固有バックエンド

サービングは NVIDIA と AMD の両ハードウェア向けに最適化されています：

  • NVIDIA: MSA にはデフォルトのアテンションバックエンドを、ビジョンエンコーダには FlashInfer バックエンドを使用します。MXFP8 チェックポイントは Blackwell クラスシステムで DeepGEMM MXFP8 MoE バックエンドを、Hopper クラスシステムで Marlin MXFP8 を利用します。
  • AMD ROCm: MSA には Triton アテンションバックエンドを、ビジョンエンコーダには ROCM_AITER_FA バックエンドを使用し、MI300 および MI350 シリーズ GPU で検証されています。

カーネル融合

HBM の往復回数と起動オーバーヘッドを削減するため、vLLM は QKNorm + RoPE + KV 挿入や GemmaNorm と AllReduce の組み合わせなど、いくつかの融合を実装しました。

RL ポストトレーニング統合

推論を超えて、vLLM のサービングパスは強化学習のポストトレーニングを可能にします。NVIDIA NeMo RL は現在、MiniMax M3 の非同居生成バックエンドとして vLLM を利用し、エキスパート並列性を用いた BF16 チェックポイント上での Group Relative Policy Optimization (GRPO) ポストトレーニングをサポートしています。

技術ロードマップ

vLLM における MiniMax M3 の将来の最適化には以下が含まれます：

  • FP8 Indexer と KV-Cache: メモリ圧迫を軽減し、バッチ容量を増加させます。
  • TRTLLM-Gen MoE: MXFP8 エキスパート実行に対する Blackwell のパフォーマンスを向上させます。
  • Context Parallelism: 単一ノードの容量を超えるコンテキストに対してプリフィルをスケールさせます。
  • Disaggregated Serving: NIXL とプリフィル/デコードの分離レシピを拡張します。

Sources