NovaSky-AI/SkyRL

解决的问题

SkyRL 是一个专为大语言模型（LLMs）设计的模块化全栈强化学习（RL）库。它解决了在真实环境中处理多轮、长时程任务的挑战，例如软件工程（SWE-Bench）或复杂知识工作，这些任务通常无法仅靠简单的监督学习完成。

如何工作

SkyRL 提供了一个全面的组件生态系统，以促进强化学习训练：

• skyrl：一个在本地硬件上进行 RL 训练的统一库，包含模块化训练框架（skyrl-train）和 Tinker API 的跨平台后端（skyrl-tx）。
• skyrl-agent：一个专门用于优化和扩展长时程任务中多轮工具使用 LLM 的流水线的代理层。
• skyrl-gym：一组为 LLM 设计的 RL 环境（gymnasium），包含数学、编码、搜索和 SQL 等任务，使用 Gymnasium API 实现。

适用人群

适用于需要通过强化学习提升在复杂、多步骤工具使用任务和真实环境交互中表现的研究人员和开发者。

主要亮点

• 全栈 RL 能力：整合训练框架、代理层和专用环境。
• 支持 Tinker API：允许用户在自己的 GPU 上运行为 Tinker API 编写的训练脚本。
• 专用环境：包含 skyrl-gym，用于 SQL 和编码等工具使用任务。
• 经验证的性能：用于创建 SkyRL-SQL-7B 等模型，其在 Text-to-SQL 任务上表现优于 GPT-4o。
• 机器人/具身智能集成：与 Harbor 集成，用于训练终端使用型代理。