NVIDIA-NeMo/Nemotron

What it solves

Nemotron は、オープンで高効率なマルチモーダルモデルと、それらをトレーニング・デプロイ・実装するための完全なインフラストラクチャを提供します。理論的なモデルアーキテクチャと実運用可能なエージェントAIの間にあるギャップを埋め、コーディング、数学、科学的推論、ツール呼び出しに優れたモデル向けの再現可能なトレーニングレシピを提供します。

How it works

プロジェクトは主に4つのコンポーネントで構成されています。

• Nemotron Steps：CLI駆動のモジュラー構成要素（ステップ）システムで、データキュレーション、合成データ生成（SDG）、事前学習、教師ありファインチューニング（SFT）、強化学習（RL）など、モデルライフサイクル全体をカバーします。
• Training Recipes：これらのステップを組み合わせて特定のモデル（例：Nemotron 3 Ultra（550B MoE）、Super（120B MoE）、Nano（30B MoE））を構築する、完全で再現可能なパイプラインです。
• Usage Cookbooks：TensorRT-LLM や NIM マイクロサービスなどのツールを用いて、エッジデバイスからマルチGPUデータセンターまで、さまざまな環境でモデルをデプロイする実践的ガイドです。
• Use Case Examples：エージェントワークフロー、RAGシステム、ツール統合のエンドツーエンド実装例です。

Who it’s for

このリポジトリは、エージェントAIアプリケーション向けに高性能LLMやマルチモーダルモデルを構築、ファインチューニング、デプロイしたいAI研究者や開発者、特にNVIDIAハードウェアスタックを活用する方を対象としています。

Highlights

• Hybrid Architectures：Mamba-Attention と Mixture-of-Experts（MoE）を活用し、推論能力とスループットのバランスを取ります。
• Multimodal Capabilities：Nano Omni モデルは、テキスト、画像、動画、音声を単一デコーダでネイティブにサポートします。
• Full Lifecycle Tooling：生データの準備、合成データ生成から RLVR と MPO アラインメントまで、すべてを網羅するツールを提供します。
• Extensive Context：最大 100 万トークンのコンテキスト長をサポートし、複雑な研究やエンタープライズワークフローに対応します。