NVIDIA-NeMo/RL

解决的问题

NeMo RL 提供了一个可扩展且高效的框架，用于多模态模型（包括大语言模型（LLM）和视觉语言模型（VLM））的后训练。它简化了应用强化学习（RL）和对齐技术的过程，使模型能够从预训练阶段过渡到生产就绪的性能，支持从小规模研究实验到大规模多节点部署的各类场景。

工作原理

该库采用模块化架构，将训练与生成（rollout）过程分离：

• 训练后端：支持 DTensor（PyTorch 原生分布式训练）以实现内存效率，以及 Megatron Core 通过 6D 并行化实现对超大规模模型的高性能扩展。
• 生成后端：集成 vLLM 和 SGLang 以实现高吞吐量推理，同时提供 Megatron 原生后端，消除训练与推理之间的权重转换。
• 基础设施：利用 Ray 实现可扩展的资源管理，并在 RL 代理之间实现进程隔离。
• 优化技术：支持序列打包、FP8 低精度训练和推测解码等高级技术，以加速 RL 循环。

适用人群

NeMo RL 专为需要使用 RL 对大规模多模态模型进行后训练的 AI 研究人员和工程师设计，尤其适用于处理海量数据集和硬件集群（如 GB200）的场景，其中效率和可扩展性至关重要。

主要亮点

• 多样化的 RL 算法：支持 GRPO、GSPO、DAPO、DPO、SFT（含 LoRA），以及在线/离线策略蒸馏。
• 广泛的模型支持：兼容多种模型，包括 Qwen、Nemotron、Gemma 4 和 GLM。
• 先进的并行技术：实现 TP、PP、CP、SP、EP 和 FSDP2，以处理超大规模模型和长上下文长度。
• 多模态能力：特别支持视觉语言模型（VLM）的 SFT 和 GRPO。
• 无缝集成：开箱即用支持 Hugging Face 模型，并与 NeMo-Gym 集成。