huggingface/open-r1

解决的问题

Open R1 旨在提供 DeepSeek-R1 流程的完全开放复现。它旨在填补原始流程中的空白，使社区能够复现 R1 模型的推理能力，特别关注提炼高质量的推理轨迹并实现强化学习（RL）流程。

工作原理

该项目基于 DeepSeek-R1 技术报告实现了一种多阶段训练方法。它提供了以下脚本：

• 监督微调（SFT）：在包含推理轨迹的数据集上执行简单的 SFT。
• 组相对策略优化（GRPO）：使用带有 vLLM 后端的强化学习训练模型，以扩展到多个节点。
• 合成数据生成：使用 Distilabel 从现有模型生成合成数据。
• 代码执行奖励：与 E2B、Morph 和 Piston 等沙箱提供商集成，为竞争性编程任务（例如 Codeforces、IOI）的训练提供实时代码执行奖励。

适用人群

该项目面向想要在较小或开放权重模型中复现 DeepSeek-R1 推理能力的研究人员和开发者，或那些希望为推理模型实现 GRPO 和 SFT 蒸馏流程的人。

亮点

• 开放复现：用于复制 R1-Distill 模型和 R1-Zero 强化学习流程的完整流程。
• 可验证奖励：支持使用沙箱环境的代码解释器奖励，用于数学和代码的高精度训练。
• 可扩展训练：与 vLLM 和 Hugging Face Accelerate（DeepSpeed ZeRO-2/3）集成，用于 H100 集群上的多节点训练。
• 精选数据集：发布推理数据集，如 Mixture-of-Thoughts 和 CodeForces-CoTs。