NVIDIA Nemotron 3 Nano Omni リリースノート / 新機能

NVIDIA Nemotron 3 Nano Omni リリースノート / 新機能

NVIDIAは、実世界のドキュメント分析、自動音声認識（ASR）、長時間の音声・ビデオ理解、エージェント的コンピュータ使用、および一般的なマルチモーダル推論のために設計されたオムニモーダル理解モデルであるNemotron 3 Nano Omniを発表しました。このモデルは、テキスト、画像、ビデオ、オーディオの機能を単一のシステムに統合し、非常に長いマルチモーダルコンテキストを処理できるようにすることで、Nemotronマルチモーダルラインを拡張します。

主な機能とユースケース

  • 実世界のドキュメント分析: モデルは100ページ以上のドキュメントを処理し、契約書や技術論文などの複雑な資料におけるレイアウト、表、図、数式、ページ間参照に焦点を当てます。
  • 自動音声認識 (ASR): 多様なオーディオ条件下で高品質な転写を提供し、さまざまなアクセントやバックグラウンドノイズがある長時間のオーディオにも対応します。
  • 長時間の音声・ビデオ理解: モデルはナレーション付きのスクリーン録画や会議アーカイブなど、混合された音声と視覚的証拠に対して共同で推論を行います。
  • エージェント的コンピュータ使用: GUI環境向けに特別に訓練され、モデルはスクリーンショットを解釈し、UI状態を監視し、アクション選択とワークフロー自動化を支援します。
  • 一般的なマルチモーダル推論: 長いコンテキストウィンドウと複数のモダリティ間で情報を統合し、マルチステップの推論と計算を行います。

テクニカルアーキテクチャ

Nemotron 3 Nano Omniは、統合されたエンコーダー-プロジェクター-デコーダー設計を使用しています。言語バックボーンはNemotron 3 Nano 30B-A3Bで、これはC-RADIOv4-HビジョンエンコーダーおよびParakeet-TDT-0.6B-v2オーディオエンコーダーとペアになっています。これらのエンコーダーは、軽量な2層MLPプロジェクターを介してLLMバックボーンに接続されます。

ハイブリッド Mamba-Transformer-MoE バックボーン

長いマルチモーダルコンテキストにスケールしながら推論性能を維持するため、バックボーンは3つのコンポーネントをインターリーブします:

  • 23 Mamba選択状態空間レイヤー - 効率的な長コンテキスト処理のため。
  • 23 MoEレイヤー (128エキスパート、トップ-6ルーティング、および共有エキスパート) - 条件付き容量のため。
  • 6グループ化クエリアテンションレイヤー - グローバルな相互作用と表現力を保持するため。

ビジョンとビデオのイノベーション

  • ダイナミック解像度: モデルはタイリングをネイティブなアスペクト比でのダイナミック解像度処理に置き換え、1画像あたり1,024から13,312のビジュアルパッチを使用します。これはOCRが重いドキュメントやGUIレイアウトにとって重要です。
  • Conv3D時間圧縮: ビデオに対して、専用のConv3Dチューブレット埋め込みパスが連続するフレームのペアを単一のチューブレットに融合し、言語モデルが注意を払う必要のあるビジョントークンを半分に削減します。
  • 効率的なビデオサンプリング (EVS): この推論時の機能は、ビデオが変化している場所でのダイナミックトークンを保持しながら冗長な静止ビデオトークンをドロップし、さらにレイテンシを削減し、スループットを向上させます。

ネイティブオーディオ統合

Parakeet-TDT-0.6B-v2によって駆動され、モデルは16kHzでサンプリングされたオーディオを処理します。最大1,200秒（20分）までの入力でトレーニングされており、LLMの最大コンテキスト長は5時間以上のオーディオをサポートします。オーディオ、ビジュアル、テキストのトークンは共有マルチモーダルシーケンス内でインターリーブされ、共同で処理されます。

パフォーマンスとベンチマーク

Nemotron 3 Nano Omniは、Nemotron Nano V2 VLに対して大幅な向上を示し、いくつかのドメインでQwen3-Omni 30B-A3Bを上回っています:

タスク ベンチマーク Nemotron 3 Nano Omni Nemotron Nano V2 VL Qwen3-Omni 30B-A3B
ドキュメント理解 OCRBenchV2-En 65.8 61.2 -
MMLongBench-Doc 57.5 38.0 49.5
CharXiv 推論 63.6 41.3 61.1
GUI ScreenSpot-Pro 57.8 5.5 59.7
OSWorld 47.4 11.0 29.0
ビデオ理解 Video-MME 72.2 63.0 70.5
ビデオ + オーディオ理解 WorldSense 55.4 - 54.0
DailyOmni 74.1 - 73.6
音声インタラクション VoiceBench 89.4 - 88.8
ASR HF Open ASR 5.95 - 6.55

効率の観点から、Nemotron 3 Nano Omniは同様のインタラクティビティを持つ他のオープンなオムニモデルと比較して、マルチドキュメントユースケースにおいてシステム効率が7.4倍、ビデオユースケースにおいてシステム効率が9.2倍向上しています。

トレーニングとデータインフラストラクチャ

トレーニングは、NVIDIA H100ノード（32から128にスケール）でMegatron-LM、Transformer Engine、およびMegatron Energonを使用して行われました。Post-SFT強化学習は、B200およびH100クラスター全体でNeMo-RLとNeMo Gymによって処理されました。

強化学習 (RL)

  • テキスト RL: ツール呼び出し、コード作成、マルチパート計画の実行能力を評価します。
  • オムニ RL: 画像、ビデオ、オーディオ、テキスト全体での推論を行うようにモデルを訓練します。検証スイートには回答不能なケースが含まれており、証拠が不十分なときに回答を控えるようにモデルを教えることで幻覚を防ぎます。

合成データ生成

NVIDIAは、NeMo Data Designerを使用して実際のPDFから約1,140万組の合成QAペア（約450億トークン）を生成し、長コンテキストドキュメント推論を強化しました。これにより、MMLongBench-Docの精度が2.19倍向上しました。

可用性

チェックポイントは、Hugging Face上でBF16、FP8、NVFP4形式で利用可能です。技術レポートはarXiv (2604.24954)で利用可能です。

Sources