NVIDIA-NeMo/Nemotron

Developer Asset Hub for NVIDIA Nemotron — A one-stop resource for training recipes, usage cookbooks, datasets, and full end-to-end reference examples to build with Nemotron models

NVIDIA-NeMo / Nemotron – クイック概要

これは何か – Nemotron は、エージェント型 AI 向けに構築された NVIDIA のオープンソースの大規模マルチモーダル基盤モデル（テキスト、画像、ビデオ、オーディオ）のファミリーです。リポジトリには以下が含まれます：

モデルファミリー – Nano（エッジ）、Lightning（高スループットエージェント）、Super（シングル GPU 高スループット）、Ultra（データセンター規模）、Omni（マルチモーダル知覚）。
トレーニングレシピ – 生のオープンソースデータから事前トレーニング、教師ありファインチューニング（SFT）、強化学習（RL/RLVR）、およびマルチティーチャー蒸留（MOPD）や量子化などの後トレーニングステップに至る、エンドツーエンドで再現可能なパイプライン。
Nemotron Steps – 各段階（データキュレーション、合成データ生成、事前トレーニング、PEFT、RL、変換、最適化、評価など）のためのモジュール式 CLI 駆動のビルディングブロック（nemotron steps）。
使用クックブックと例 – NVIDIA の推論スタック（NeMo、TensorRT-LLM、vLLM、SGLang、NIM マイクロサービス）でモデルをデプロイする方法と、それらをエージェント型ワークフロー（RAG、ツール呼び出し、視覚言語推論）に統合する方法を示す Jupyter ノートブックとスクリプト。

なぜ重要か – モデルは効率性（混合エキスパート、ハイブリッド Mamba-Transformer、マルチトークン予測）を考慮して設計されており、単一 GPU で実行したり、マルチ GPU データセンターにスケールしたりできます。完全にオープンです：トレーニングデータ、技術、モデルウェイトは Apache 2.0 ライセンスで Hugging Face にリリースされています。

主要コンポーネント

コンポーネント	得られるもの	典型的なユースケース
Nemotron Steps CLI	すべてのトレーニング/評価段階のための再利用可能な設定駆動ユニット。	カスタムパイプラインを構築するか、単一の段階（例：データキュレーション）を実行します。
トレーニングレシピ	各モデル層（Ultra、Super、3.5 Super、Lightning、Nano、Omni）の完全なスクリプトと設定。	NVIDIA が使用した正確なトレーニングフローを再現するか、独自のデータに適合させます。
使用クックブック	デプロイメント、推論、エージェント型アプリケーションのための Jupyter ノートブック。	TensorRT-LLM でモデルをサービスするか、マルチモーダルエージェントを構築するためのクイックスタート。
ユースケース例	エンドツーエンドのデモ（RAG、ツール呼び出し、視覚言語エージェント）。	Nemotron を実際のエージェント型ワークフローに組み込む方法を学びます。
Claude-Code プラグイン	`nemotron-customize` はステップカタログを Claude Code 内のガイド付きパイプラインビルダーに変換します。	プログラマーでない人でも会話型 UI でトレーニングパイプラインを組み立てられます。

モデルのハイライト（README 時点）

Nemotron 3.5 Super – 合計 120 B / アクティブ 12 B パラメータ、ハイブリッド Mamba-Transformer + LatentMoE、マルチモーダル（テキスト-画像-ビデオ）、1 M トークンコンテキスト、マルチトークン予測。
Nemotron 3.5 Lightning – 合計 30 B / アクティブ 3 B、長時間実行エージェントでの高速で高容量のタスク実行に最適化。
Nemotron 3 Ultra – 合計 550 B / アクティブ 55 B、データセンター規模、1 M コンテキスト、オープンソースウェイト。
Nemotron 3 Nano Omni – 合計 30 B / アクティブ 3 B、テキスト、画像、ビデオ、オーディオをネイティブサポート、知覚サブエージェントとして意図されています。

すべてのモデルは NVIDIA の推論スタック（TensorRT-LLM、NIM マイクロサービス）を介したデプロイをサポートし、同じステップベースのフレームワークでさらにファインチューニングできます。

はじめに（高レベル）

リポジトリをクローンし、依存関係をインストールします（Python 3.10+、pyproject.toml）。
ステップまたはレシピを選択 – 例：nemotron steps run data_prep/curate または完全な src/nemotron/recipes/super3 パイプラインを実行します。
設定 – src/nemotron/steps/* の下の YAML 設定を編集するか、提供された Jupyter ノートブックを使用します。
実行 – CLI はアーティファクト追跡、環境プロファイル、分散起動を処理します。
デプロイ – 使用クックブックに従って、トレーニング済みチェックポイントを TensorRT-LLM または NIM でサービスします。

このリポジトリを見るべき人

大規模マルチモーダル LLM トレーニングのリファレンス実装を求める研究者。
効率的でオープンソースの基盤モデルを必要とするエージェント型 AI システムを構築するエンジニア。
データ、RL、量子化を実験するための柔軟でモジュール式のパイプライン（ステップシステム）を必要とするチーム。
エッジ、シングル GPU、またはデータセンターのハードウェアで最先端のマルチモーダルモデルをデプロイすることに興味がある人。

結論 – NVIDIA-NeMo / Nemotron は、モデル定義、トレーニングレシピ、デプロイメントガイド、エージェント型 AI アプリケーションを構築するためのツールをカバーする、本格的で本番グレードのオープンソースプロジェクトです。

NVIDIA-NeMo/Nemotron