huggingface/open-r1

解決する問題

Open R1は、DeepSeek-R1パイプラインの完全にオープンな再現を提供するために設計されています。元のパイプラインのギャップを埋め、コミュニティがR1モデルの推論能力を再現できるようにすることを目指しており、特に高品質な推論トレースの蒸留と強化学習（RL）パイプラインの実装に焦点を当てています。

仕組み

このプロジェクトは、DeepSeek-R1の技術レポートに基づいた多段階のトレーニングアプローチを実装しています。以下のスクリプトを提供します：

• 教師ありファインチューニング（SFT）：推論トレースを含むデータセットに対してシンプルなSFTを実行します。
• グループ相対方策最適化（GRPO）：vLLMバックエンドを使用してRLでモデルをトレーニングし、複数ノードにスケールします。
• 合成データ生成：Distilabelを使用して既存のモデルから合成データを生成します。
• コード実行報酬：E2B、Morph、Pistonなどのサンドボックスプロバイダーと統合し、競技プログラミングタスク（例：Codeforces、IOI）のトレーニングにリアルタイムのコード実行報酬を提供します。

対象読者

このプロジェクトは、DeepSeek-R1の推論能力をより小規模またはオープンウェイトのモデルで再現したいAI研究者や開発者、または推論モデル向けのGRPOおよびSFT蒸留パイプラインを実装したい人々を対象としています。

ハイライト

• オープンな再現：R1-DistillモデルとR1-Zero RLパイプラインを再現するための完全なパイプライン。
• 検証可能な報酬：サンドボックス環境を使用したコードインタープリター報酬のサポートにより、数学とコードの高精度なトレーニングを実現。
• スケーラブルなトレーニング：vLLMおよびHugging Face Accelerate（DeepSpeed ZeRO-2/3）との統合により、H100クラスターでのマルチノードトレーニングを実現。
• キュレーションされたデータセット：Mixture-of-ThoughtsやCodeForces-CoTsなどの推論データセットを公開。