Open-R1 アップデート #1: DeepSeek-R1 のトレーニングと合成データの複製
Hugging Faceは、DeepSeek-R1のトレーニングパイプラインと合成データ生成を複製するためにOpen-R1プロジェクトを立ち上げました。開発から1週間後、プロジェクトはMATH-500ベンチマークにおけるDeepSeekの報告結果を正常に再現し、TRLライブラリにGrouped Relative Policy Optimization（GRPO）を統合しました。
DeepSeek-R1の評価とパフォーマンスの再現
Hugging Faceは、lightevalツールを使用して、DeepSeekが報告したMATH-500ベンチマークの評価スコアと一致できることを確認しました。再現された結果は以下の通りです：
| モデル | MATH-500 (HF lighteval) | MATH-500 (DeepSeek Reported) |
|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | 81.6 | 83.9 |
| DeepSeek-R1-Distill-Qwen-7B | 91.8 | 92.8 |
| DeepSeek-R1-Distill-Qwen-14B | 94.2 | 93.9 |
| DeepSeek-R1-Distill-Qwen-32B | 95.0 | 94.3 |
| DeepSeek-R1-Distill-Llama-8B | 85.8 | 89.1 |
| DeepSeek-R1-Distill-Llama-70B | 93.4 | 94.5 |
レスポンス長の課題
評価中の重要な発見は、DeepSeek-R1の生成の極端な長さです。OpenThoughtsデータセットでは、平均応答長は6,000トークンで、一部は20,000トークンを超えています。この長さは、GRPOトレーニングの課題となります。なぜなら、長い補完を生成するには、最適化ステップ中にアクティベーションと勾配を保存するために大量のGPUメモリが必要になるからです。
トレーニングパイプラインとGRPOの統合
Grouped Relative Policy Optimization（GRPO）は、TRLバージョン0.14に統合されました。この実装により、1つまたは複数の報酬関数を使用してモデルのトレーニングが可能になり、DeepSpeed ZeRO 1/2/3と統合されて複数のGPU間で並列スケーリングが行われます。オンライントレーニングの主要なボトルネックである生成速度に対処するため、パイプラインは高速推論のためにvLLMを使用します。
合成データ生成のスケーリング
小さなモデルを改善するために使用される合成推論トレースを複製するために、Hugging Faceは大規模なR1モデルを使用してデータを生成するスケールされた推論パイプラインを開発しました。
インフラストラクチャとスループット最適化
vLLMを使用した2つの8xH100ノードでの初期テストでは、GPU KVキャッシュがすぐに満たされ、リクエストのプリエンプトが発生するため、スループットが最適ではありませんでした。これを解決するために、チームはセットアップを32GPU（4つの8xH100ノード）に拡張し、32の並列リクエストをリスケジュールなしで処理できる十分なVRAMを提供しました。
ストリーミングリクエストへの移行
バッチ推論における「ストラグラー」による遅延をなくし、GPU利用率を安定させるため、チームはバッチリクエストからストリーミングアプローチに切り替えました。アクティブなタスクの数を一定に保ち（例：500）、他のタスクが完了したらすぐに新しいリクエストを開始することで、より一貫した生成レートを達成しました。
コミュニティエコシステムとデータセット開発
DeepSeek-R1のリリース以来、オープンソースコミュニティは、小規模での推論能力の再現を目的としたいくつかのプロジェクトとデータセットを生み出してきました：
注目すべきコミュニティプロジェクト
- TinyZero: 3Bベースモデルを使用して30ドル未満で reasoning の「aha-moment」を示す。
- Mini-R1: reasoning の出現を再現するガイドを提供するチュートリアル。
- HKUST Researchers: 7Bの数学モデルにおける reasoning の出現を実証。
- Evolving LLM Lab: R1のマルチモーダルバージョンを開発中。
主要な合成推論データセット
- OpenThoughts-114k: 科学、数学、コード、パズルをカバーする114,000件の高品質な例。
- Bespoke-Stratos-17k: DeepSeek-R1を使用して推論トレースを作成するBerkeley Sky-T1パイプラインの複製。
- Dolphin-r1: DeepSeek-R1、Gemini Flash、Dolphin Chatからの補完を組み合わせた800,000サンプル。
- Magpie-Reasoning-V2-250K: DeepSeek-R1-Distill-Llama-70Bによって生成された250,000件の推論応答。
業界の文脈と市場の反応
DeepSeek-R1のリリースは、業界全体に広範な反応を引き起こしました。OpenAIのCEOであるSam Altmanは、o1で使用されているアイデアと類似したアイデアの発見に言及し、AnthropicのCEOであるDario Amodeiは輸出規制の必要性を強調しました。さらに、AWS（BedRockとSageMaker経由）、Dell、Together AI、Fireworks AIなどの主要プロバイダーが、DeepSeek-R1を自社のプラットフォームに統合しています。
Sources
- OriginalOpen-R1: Update #1