baidu-baige/LoongSage

解决的问题

LoongSage 通过提供生产级、可扩展的框架，解决了使用强化学习（RL）训练大型语言模型（LLM）的复杂性。它解决了将智能体业务逻辑与底层训练基础设施解耦的挑战，同时确保训练和推理之间的一致性，以防止大规模 RL 微调期间模型崩溃。

工作原理

LoongSage 采用模块化架构，基于三项主要技术：Ray 用于分布式调度，Megatron-Core 用于模型训练，SGLang 用于高吞吐量推理。该框架具有一个“AgentFlow”模块，允许任何智能体通过标准聊天界面与系统交互，而无需修改框架。它支持完全异步训练，采样和训练并行进行，并使用高级技术（如 Router Replay 和重要性采样）来保持训练和推理引擎之间的概率分布一致性。

适用对象

该框架专为从事前沿规模 LLM 后训练优化的研究人员和工程师设计。它特别适合需要在大型模型（如 MoE 架构）上实现复杂 RL 策略（如在线蒸馏或智能体代码修复）同时保持高吞吐量和系统稳定性的团队。

亮点

• 零侵入智能体访问：将智能体逻辑与 RL 框架解耦，允许通过标准聊天 API 无缝集成。
• 完全异步训练：将采样和训练解耦以消除瓶颈，吞吐量提升高达 39%。
• 系统级一致性：实现特定的对齐技术，将训练-推理概率偏差保持在 1e-4 量级，防止训练崩溃。
• 生产就绪配方：包含针对复杂任务（如数学推理和智能体代码修复）的验证配置，已在 DeepSeek-V4-Flash 和 Qwen3 等大规模模型上测试。
• 高度可扩展：提供 12 个核心扩展点，用于自定义智能体、奖励模型和 RL 算法，而无需更改框架核心。