PrimeIntellect-ai/prime-rl
Agentic RL Training at Scale
解决的问题
prime-rl 解决了大规模代理训练中强化学习（RL）的可扩展性挑战。它提供了一个框架，使开发者能够在数千个 GPU 上训练超大规模模型（超过 1T 参数），同时保持模块化且可“黑客化”的设计，便于快速实验。
工作原理
该框架采用完全异步的强化学习架构以最大化吞吐量。在大规模训练和推理中，集成了多种高性能技术：
- 训练与推理：使用 FSDP2 进行训练，vLLM 进行推理，支持 FP8 精度、专家并行（EP）和上下文并行（CP）。
- 部署：通过 Slurm 支持多节点部署，包括 P/D 分离和 KV 卸载等高级配置。
- 流水线：提供端到端的后训练流水线，涵盖监督微调（SFT）、RL 训练和评估。
- 集成：原生连接 Environments Hub 和
verifiers，支持代理和软件工程（SWE）环境。
适用人群
专为前沿模型的研究人员和工程师设计，特别是需要在 MoE（专家混合模型）或密集模型上进行大规模 RL 后训练，以及训练 VLM（视觉-语言模型）的用户。
主要亮点
- 超大规模扩展：可扩展至 1000+ GPU，用于训练 1T+ 参数的 MoE 模型。
- 广泛模型支持：原生支持 GLM、Qwen、Nemotron 等主流 MoE 系列。
- 多模态能力：支持 Qwen3.5 等 VLM 的训练。
- 灵活部署：复杂前沿模型配置可通过单行 Slurm 命令部署。
- 全面工具链：在一个框架内原生支持 SFT、RL 和评估。
相关
- 项目
- 项目
- 项目
- 项目
- Dispatch