vLLM における NVIDIA Nemotron 3 Nano Omni のサポート

vLLM は現在、NVIDIA Nemotron 3 Nano Omni をサポートしています。このオープンマルチモーダルモデルは、視覚、音声、言語の推論を単一の効率的なループに統合することで、エージェントAIを実現するよう設計されています。この統合により、開発者は、視覚、音声、言語のために別々のモデルが通常は組み合わされている断片的なマルチモーダルスタックを置き換えるモデルをデプロイでき、推論ホップ、オーケストレーションのオーバーヘッド、コンテキストの断片化を削減します。

統合マルチモーダルアーキテクチャ

Nemotron 3 Nano Omni は、別々の知覚モデルを単一の推論ループに統合し、テキスト、画像、動画、音声入力を同時に処理できるようにします。このアーキテクチャは、画面、文書、音声映像ストリームを継続的に認識することが求められるエンタープライズエージェントワークフロー向けに特別に設計されています。

技術仕様

  • Architecture: ハイブリッド Transformer-Mamba アーキテクチャを備えた Mixture of Experts (MoE)。
  • Model Size: 合計 30B パラメータで、フォワードパスごとにアクティブになるのは 3B パラメータのみです。
  • Context Length: 256K トークン。
  • Temporal Processing: 動画の時空間データを効率的に処理するために 3D 畳み込み層 (Conv3D) を使用します。
  • Modalities: 入力としてテキスト、画像、動画、音声をサポートし、出力はテキストです。

パフォーマンスと効率性の向上

Nemotron 3 Nano Omni は、他のオープンオムニモデルや従来のバージョンに比べ、スループットが大幅に向上し、計算コストが低減されます。

スループットとスケーラビリティ

このモデルは、同等のインタラクティブ性を持つ他のオープンオムニモデルに比べ、スループットが 9 倍高くなります。特に、ユーザーごとのインタラクティブ性閾値を固定して測定した場合、以下のように示されます：

  • Video Use Cases: スループットが 9.2 倍高い。
  • Multi-Document Use Cases: スループットが 7.4 倍高い。

計算効率

高性能を維持しつつコストを抑えるために、モデルは複数の最適化手法を採用しています：

  • Efficient Video Sampling (EVS): 時間認識型の知覚により、同じ計算予算内でより長い動画の処理を可能にします。
  • Quantization Support: BF16、FP8、NVFP4 の精度をサポートし、同一 GPU 上で推論を高速化しリクエスト容量を増加させます。
  • Hardware Compatibility: NVIDIA B200、H100、H200、A100、L40S、DGX Spark、RTX 6000 GPU に最適化されています。

マルチモーダルインテリジェンスと精度

Nemotron 3 Nano Omni は、従前の Nemotron Nano VL V2 モデルに比べ、マルチモーダル推論精度が大幅に向上し、6 つの業界リーダーボードでトップにランクインしています。

ベンチマーク成功

このモデルは、いくつかの専門カテゴリでリードしています：

  • Document Intelligence: MMlongbench-Doc と OCRBenchV2 でトップパフォーマンスを達成。
  • Video and Audio Understanding: WorldSense、DailyOmni、VoiceBench でトップ結果を取得。
  • MediaPerf: すべてのタスクで最高のスループットと、動画レベルのタグ付けにおける最低の推論コストを達成しました。

トレーニング手法

精度向上は、テキスト、画像、音声、動画環境にわたる NVIDIA NeMo RL と NeMo Gym を用いたマルチ環境強化学習によって実現され、指示遵守とマルチモーダル回答の収束が改善されました。

vLLM でのデプロイ

Nemotron 3 Nano Omni は、vLLM を使用した OpenAI 互換 API で提供できます。デプロイには vllm[audio]==0.20.0 が必要で、動画プルーニングや自動ツール選択などの高度な構成をサポートします。

サーバーコマンド例

python3 -m vllm.entrypoints.openai.api_server \
    --model "nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16" \
    --served-model-name nemotron \
    --trust-remote-code \
    --dtype auto \
    --host 0.0.0.0 \
    --port 5000 \
    --tensor-parallel-size 1 \
    --max-model-len 131072 \
    --media-io-kwargs '{"video":{"num_frames":512,"fps":1}}' \
    --video-pruning-rate 0.5 \
    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --reasoning-parser nemotron_v3

Sources