vLLM における NVIDIA Nemotron 3 Super のサポート

vLLM は、複雑なマルチエージェント AI アプリケーション向けに特別に設計されたオープンハイブリッド Mixture-of-Experts (MoE) モデルである NVIDIA Nemotron 3 Super をサポートします。この統合により、開発者は高度な知能と大規模エージェントシステムに必要な計算効率のバランスを取ったモデルをデプロイできるようになります。

マルチエージェント AI のための高効率アーキテクチャ

Nemotron 3 Super は、ハイブリッド Transformer‑Mamba アーキテクチャと Mixture-of-Experts (MoE) 設計を活用し、エージェントワークフローに伴う「思考コスト」やコンテキストオーバーヘッドを最小化します。

主な技術仕様

  • モデルパラメータ: 合計 1,200 億パラメータ、推論時は 120 億パラメータのみがアクティブ。
  • コンテキストウィンドウ: 最大 100 万トークンをサポートし、目標のドリフトを抑え、マルチエージェントシステムでの履歴やツール出力による「コンテキスト爆発」問題を解決。
  • スループット: 従来の大規模モデルに比べ最大 4 倍、前世代の Nemotron Super に比べ最大 5 倍のスループットを提供。
  • マルチトークン予測 (MTP): 1 回のフォワードパスで複数の将来トークンを同時に予測し、長文生成を高速化。
  • 潜在 MoE: 1 つのエキスパートの推論コストで 4 つのエキスパートを活性化可能。
  • 思考予算: 推論トークン生成量を制御することで、最適な精度を実現。

パフォーマンスとオープン性

Nemotron 3 Super は、Artificial Analysis Intelligence と Openness 指数においてトップクラスのオープンモデルとして位置付けられています。重み、データセット、レシピがすべてオープンで提供されており、プライベートインフラ上でのカスタマイズや安全なデプロイが可能です。

Artificial Analysis ベンチマークによると、同サイズカテゴリのモデルの中で最高精度を達成しており、前世代の Nemotron Super に比べ最大 2 倍の精度向上を示しつつ、同等サイズの他のオープンモデルと比較しても高い効率性を維持しています。

vLLM でのデプロイ

vLLM は、BF16、FP8、NVFP4 などのさまざまな精度フォーマットに対応した Nemotron 3 Super の最適化推論を実現します。Blackwell GPU 上では、NVFP4 が H100 の FP8 に比べ 4 倍のスループットを提供しながら精度を保ちます。

ハードウェアサポート

サポート対象 GPU:

  • NVIDIA B200
  • NVIDIA H100
  • DGX Spark
  • RTX 6000

クイックスタート実装

vLLM (バージョン 0.17.1) を使用してモデルを提供するには、以下のコマンドで 4x H100 環境を OpenAI 互換 API として構成できます。

# BF16
vllm serve nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 \
    --kv-cache-dtype fp8 \
    --tensor-parallel-size 4 \
    --trust-remote-code \
    --served-model-name nemotron \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --reasoning-parser nemotron_v3

サーバーが起動したら、OpenAI Python クライアントを使ってモデルにプロンプトを送信できます。レスポンスには reasoning_content と最終的な content の両方が含まれます。

Sources