THUDM/slime

它解决了什么问题

slime 是一个专为 RL 扩展设计的高性能 LLM 后训练框架。它通过将训练、Rollout 和数据生成路径统一为单一、简化的流程，解决了训练器、Rollout 服务和 Agent 框架之间脱节且沉重的技术堆栈问题。

运作原理

slime 连接了用于训练的 Megatron-LM 和用于 Rollout 的 SGLang。它采用“原生直通”设计，允许用户直接使用 Megatron 和 SGLang 的参数，而无需增加额外的抽象层。架构包含三个主要模块：

• 训练 (Megatron)：处理主要的训练过程并将参数同步到 Rollout 模块。
• Rollout (SGLang + router)：生成新数据并计算奖励/验证器输出。
• 数据缓冲区 (Data Buffer)：作为管理提示词初始化和 Rollout 生成方法的桥梁。

它支持多种进阶部署配置，例如 PD 分离（预填充/解码分离）、用于高效更新的 Delta 权重同步，以及用于分离服务的外部 Rollout 引擎。

适用对象

致力于 LLM 大规模 RL 后训练的研究人员与工程师，特别是那些使用 Megatron-SGLang 技术堆栈的团队。它专为需要一个轻量级且经过实战验证的框架，并希望将其扩展到 Agent RL、全模态训练或可验证环境的用户而设计。

特点

• 实战验证：用于训练 GLM 系列模型（从 GLM-4.5 到 GLM-5.3）。
• SGLang 原生：针对 SGLang 进行了深度优化，以利用其特定的服务、路由和缓存功能。
• 灵活的数据生成：支持多 Agent 系统、工具使用和长程 Agent 工作流程的自定义接口，无需 Fork 训练核心。
• 生产就绪：内置对容错、追踪、性能分析以及完整的 RL 基础设施 CI/CD 的支持。
• 广泛的模型支持：兼容于 Qwen、DeepSeek V3/R1 和 Llama 3 系列。