vLLM Day 0 Support for Qwen3.8-2.4T-A95B

vLLMは、Qwen3.8-2.4T-A95BのDay-0サポートを提供開始しました。これにより、オープンウェイトでQwen-Maxクラスのモデルをデプロイすることが可能になります。このリリースではQwen 3.5アーキテクチャが統合されており、アーキテクチャの変更を必要とせずに、vLLM上で即座にモデルを実行できます。

Model Architecture and Hardware Requirements

Qwen3.8-2.4T-A95Bは、2.4兆パラメータと512個のエキスパートを持つ疎なMixture-of-Experts (MoE) モデルです。その92層のハイブリッドバックボーンは、特定の注意機構（attention mechanism）を利用しています。具体的には、4層ごとにフルアテンションが適用され、残りの69層は線形アテンション（linear attention）を利用します。

ハードウェア要件は、精度（precision）によって異なります：

Full Precision/FP8: NVIDIA B300またはAMD MI355Xノードが少なくとも2つ必要です。
FP4 Quantized: 単一のノードで実行可能です。

Precision and Quantization Options

公式のBF16およびFP8チェックポイントに加え、InferactはMXFP4およびNVFP4量子化ウェイトをリリースしました。これらのFP4バージョンは、Round-to-Nearest (RTN) 量子化とアクティベーション・キャリブレーションを使用し、4ビット・アクティベーションを可能にします。特に、ルーティングされたエキスパートと特定の層を対象にすることで、メモリと帯域幅のオーバーヘッドを削減しています。

初期の検証結果では、FP4量子化は精度を維持していることが示されています。例えば、GSM8Kベンチマーク（strict/flexible）において、NVFP4バージョンは90.37% / 91.05%を達成し、FP8の89.61% / 90.52%と比較されました。AIME25 @3 (avg/pass)では、NVFP4は92.22% / 96.67%に達し、FP8の87.78% / 93.33%に対して優位性を示しました。

Hardware-Specific Optimizations

この規模のモデルをサポートするために、vLLMはNVIDIAおよびAMDと協力して、最適化されたカーネルを開発しました：

NVIDIA Platforms

NVIDIAとInferactは、Dense GEMMs、MoE routing、Attention (GQA)、およびLinear Attention (Gated Delta Rule) のための超高速カーネルを開発しました。この実装には、通信オーバーヘッドを最小限に抑えるための新しい融合（fused）カーネルが含まれており、AttentionとExpert ParallelismのためのData ParallelismとTensor Parallelismを組み合わせた、特定のタスク分解が組み込まれています。

AMD Instinct GPUs

高速化は、AITER-fused Gated DeltaNet decode、attention、およびMoEカーネルを介して実現されます。これにより、データの移動とカーネル起動のオーバーヘッドを削減します。共有エキスパート・パスは最適化されたhipBLASLt GEMMカーネルを利用し、ルーティングされたエキスパートはAITER FusedMoEを使用します。さらに、AMD Quark量子化サポートにより、効率的なMXFP4デプロイメントが可能です。

Deployment and Configuration

最適なパフォーマンスを得るために、Qwen 3.8モデルカードは以下の生成パラメータを推奨しています：

Temperature: 1.0
Top_p: 0.95
Top_k: 20
Min_p: 0.0
Presence Penalty: 0.0
Repetition Penalty: 1.0

Qwen 3.8は推論モデル（reasoning model）であるため、ユーザーは、エージェント的ワークフロー（agentic workflows）に十分なトークン予算を確保するために、高い max_tokens 値（例：128,000）を設定することを推奨されます。

Quick Start Commands

NVFP4 Deployment:

vllm serve Inferact/Qwen3.8-2.4T-A95B-NVFP4 \
  --linear-backend flashinfer_cutedsl \
  --tensor-parallel-size 8 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

MXFP4 Deployment:

vllm serve Inferact/Qwen3.8-2.4T-A95B-MXFP4 \
  --tensor-parallel-size 8 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --speculative-config '{"method":"mtp":"mtp","num_speculative_tokens":3}'