radixark/miles

解决的问题

Miles 专为大规模模型的高性能后训练而设计，特别关注万亿参数规模的强化学习（RL）。它解决了在分布式系统中训练大规模模型时通常出现的稳定性、精度和吞吐量问题。

工作原理

Miles 结合了使用 SGLang 的高吞吐量 rollout（生成）和使用 Megatron-LM（提供 PyTorch FSDP2 后端选项）的可扩展训练。它采用完全异步的 RL 流水线，其中 rollout 和训练工作负载解耦，以最大限度地减少空闲时间。为了保持稳定性，它实现了“Token-in-token-out”（TITO）以避免重新分词错误，以及“Rollout Routing Replay”（R3）以防止 rollout 和训练之间的 MoE 路由不匹配。

适用对象

它专为需要使用 GRPO、PPO 和 REINFORCE++ 等 RL 方案训练前沿规模模型（如 DeepSeek-V4 或 Kimi-K3）的模型实验室、硬件和云提供商以及研究人员而构建。

亮点

• 万亿参数规模：针对大规模模型优化，支持 P2P RDMA 以实现快速权重更新。
• 低精度训练：支持 MXFP8、NVFP4、FP8 和 INT4 QAT，以降低内存和计算成本。
• 广泛的硬件支持：兼容 NVIDIA（H100、B200 等）和 AMD（MI300X、MI355X）GPU。
• 智能体环境集成：通过 E2B、Modal 和 NeMo Gym 等平台提供编码和计算机使用智能体的连接器。
• 容错性：自动恢复失败的 SGLang 引擎，无需暂停运行。