NVIDIA-NeMo/Automodel

🚀 Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face support

解决的问题

NeMo AutoModel 简化了大规模 AI 模型的预训练与微调流程。它通过自动化整合并提供优化的训练配方，消除了将模型从 Hugging Face 等平台迁移至高性能训练环境所需的手动工作。

运作方式

该项目提供了一个整合 Hugging Face 模型并应用 PyTorch 原生并行处理（如 FSDP2、专家并行、流水线并行与上下文并行）及自定义核心以优化性能的框架。它使用 Pytorch DTensor 原生 SPMD 库来处理跨多个 GPU 与节点的大规模训练。

适用对象

专为需要使用 NVIDIA H100 或 GB200 GPU 等高性能硬件来训练或微调巨型模型（包括 LLM、VLM 与扩散模型）的 AI 研究人员与开发者所设计。

特色亮点

  • 广泛的模型支持：支持多种架构，包括 MoE (Mixture-of-Experts)、稠密模型与多模态解码器。
  • 优化的并行处理：实现了先进的并行处理策略，如专家并行 (EP)、流水线并行 (PP) 与上下文并行 (CP)。
  • 推测解码：包含训练目标对齐草稿模型（如 EAGLE、DFlash、DSpark）的工具，以加速推理。
  • 即用型配方：提供针对特定模型与数据集（如 HellaSwag、MedPix）的预先配置 YAML 配方，以加速部署。

相关

  • 项目
    NVIDIA-NeMo/Megatron-Bridge

    NVIDIA-NeMo Megatron-Bridge 是一个 PyTorch 库，将 Hugging Face 模型与 NVIDIA 的 Megatron-Core 训练引擎连接起来。它支持双向检查点转换、大规模预训练和微调（包括 LoRA），并为许多最新的 LLM/VLM/MoE 模型提供了经过验证的配方。推荐的工作流程使用 NVIDIA 的 NeMo Docker 容器和简单的 Python API（AutoBridge）。

  • Dispatch
    NVIDIA NeMo AutoModel 加速 Mixture-of-Experts 模型的微调

    NVIDIA NeMo AutoModel 提供 3.4‑3.7 倍更高的训练吞吐量和 29‑32% 更低的 GPU 内存占用，用于微调 Mixture-of-Experts 模型。它基于 Hugging Face Transformers v5，加入 Expert Parallelism、DeepEP 与 TransformerEngine 内核，仅需一次 import 更改即可使用。

  • 项目
    NVIDIA-NeMo/Gym

    NeMo Gym 是 NVIDIA 的开源库，用于在有状态环境（代码执行、工具调用、安全性等）中对 AI 代理进行可扩展的评估和训练。它提供模块化接口、现成基准测试中心、支持数千个并发运行，并可与任何 RL 框架集成。通过 `uv` 安装，配置模型（如 OpenAI），启动环境服务器，然后运行 `gym eval` CLI 来收集 rollout 和指标。

  • Dispatch
    NVIDIA Nemotron 3 Nano 开放评估配方与 NeMo Evaluator

    NVIDIA 发布了 30B Nemotron 3 Nano 模型，并提供基于 NeMo Evaluator 的完全开放评估配方，使任何人都能够复现其基准分数并审计整个评估流水线。

  • 项目
    NVIDIA/NeMo-Retriever

    一个可扩展的框架，用于从复杂文档中提取和结构化文本、表格和图表，以支持检索增强生成 (RAG) 流水线。