NVIDIA-NeMo/Nemotron

NVIDIA-NeMo / Nemotron – 快速概览

它是什么 – Nemotron 是 NVIDIA 的开源大型多模态基础模型系列（文本、图像、视频、音频），专为 智能体 AI 构建。仓库包含：

• 模型系列 – Nano（边缘）、Lightning（高吞吐量智能体）、Super（单 GPU 高吞吐量）、Ultra（数据中心规模）和 Omni（多模态感知）。
• 训练配方 – 端到端、可复现的流程，从原始开源数据经过预训练、监督微调（SFT）、强化学习（RL/RLVR）以及后训练步骤（如多教师蒸馏（MOPD）和量化）。
• Nemotron Steps – 模块化、CLI 驱动的构建块（nemotron steps），用于每个阶段（数据整理、合成数据生成、预训练、PEFT、RL、转换、优化、评估等）。
• 使用手册和示例 – Jupyter 笔记本和脚本，展示如何使用 NVIDIA 的推理栈（NeMo、TensorRT-LLM、vLLM、SGLang、NIM 微服务）部署模型，以及如何将它们集成到智能体工作流中（RAG、工具调用、视觉-语言推理）。

为什么重要 – 这些模型专为效率而设计（混合专家、混合 Mamba-Transformer、多令牌预测），可在单个 GPU 上运行或扩展到多 GPU 数据中心。它们完全开放：训练数据、技术和模型权重在 Hugging Face 上以 Apache 2.0 许可发布。

---

关键组件

组件	你得到什么	典型用例
Nemotron Steps CLI	可重用、配置驱动的单元，用于每个训练/评估阶段。	构建自定义流程或运行单个阶段（例如，数据整理）。
训练配方	每个模型层级（Ultra、Super、3.5 Super、Lightning、Nano、Omni）的完整脚本和配置。	复现 NVIDIA 使用的确切训练流程，或将其调整到您自己的数据。
使用手册	用于部署、推理和智能体应用的 Jupyter 笔记本。	快速开始使用 TensorRT-LLM 服务模型或构建多模态智能体。
用例示例	端到端演示（RAG、工具调用、视觉-语言智能体）。	学习如何将 Nemotron 插入真实的智能体工作流。
Claude-Code 插件	nemotron-customize 将步骤目录转换为 Claude Code 内的引导式流程构建器。	非程序员可以通过对话式 UI 组装训练流程。

---

模型亮点（截至 README）

• Nemotron 3.5 Super – 120 B 总 / 12 B 激活参数，混合 Mamba-Transformer + LatentMoE，多模态（文本-图像-视频），1 M 令牌上下文，多令牌预测。
• Nemotron 3.5 Lightning – 30 B 总 / 3 B 激活，针对长时间运行的智能体中的快速、高容量任务执行进行了优化。
• Nemotron 3 Ultra – 550 B 总 / 55 B 激活，数据中心规模，1 M 上下文，开源权重。
• Nemotron 3 Nano Omni – 30 B 总 / 3 B 激活，原生支持文本、图像、视频和音频，旨在作为感知子智能体。

所有模型都支持通过 NVIDIA 的推理栈（TensorRT-LLM、NIM 微服务）部署，并可使用相同的基于步骤的框架进一步微调。

---

入门（高级）

1. 克隆仓库并安装依赖（Python 3.10+，pyproject.toml）。
2. 选择一个步骤或配方 – 例如，nemotron steps run data_prep/curate 或运行完整的 src/nemotron/recipes/super3 流程。
3. 配置 – 编辑 src/nemotron/steps/* 下的 YAML 配置或使用提供的 Jupyter 笔记本。
4. 运行 – CLI 处理工件跟踪、环境配置文件和分布式启动。
5. 部署 – 按照使用手册使用 TensorRT-LLM 或 NIM 服务训练好的检查点。

---

谁应该查看这个仓库？

• 想要大规模多模态 LLM 训练的参考实现的研究人员。
• 构建需要高效、开源基础模型的智能体 AI 系统的工程师。
• 需要灵活、模块化流程（步骤系统）来试验数据、RL 或量化的团队。
• 任何对在边缘、单 GPU 或数据中心硬件上部署最先进多模态模型感兴趣的人。

---

底线 – NVIDIA-NeMo / Nemotron 是一个真正的、生产级的开源项目，涵盖模型定义、训练配方、部署指南和用于构建智能体 AI 应用程序的工具。