LeapLabTHU/limit-of-RLVR

解決する課題

このプロジェクトは、検証可能な報酬を用いた強化学習（RLVR）が、大規模言語モデル（LLM）の根本的な推論能力を実際に向上させているのか、それとも単に既存の知識へのアクセス効率を最適化しているだけなのかを調査します。RLで訓練されたモデルが、元のモデルでは解けない問題を本当に解けるかどうか、あるいは単にサンプリングによって正しい答えをより効率的に見つけるようになるだけなのかという理解のギャップを埋めます。

動作方法

研究者は pass@k メトリクスを使用してモデルを評価します。問題を解くためにモデルに与える試行回数（k）を増やすことで、モデルの「推論境界」を特定できます。ベースモデルが十分な試行回数があれば正しい答えにたどり着くのに対し、RLで訓練されたモデルがたどり着かない場合、それはRLがサンプリング効率を向上させた（正しい答えがより頻繁に出現する）ことを示唆していますが、実際には全体的な推論能力が低下している可能性があります。

対象読者

• LLMの推論における強化学習の影響を研究するAI研究者。
• o1 や DeepSeek-R1 などの推論中心のモデルを開発している開発者で、RLVRの限界を理解したい人。
• 異なるサンプリング戦略におけるモデル性能を評価するMLエンジニア。

主な成果

• サンプリング効率 vs. 推論能力：RLはサンプリング効率を向上させ（k が小さい場合に良いパフォーマンス）、しかし推論能力の境界を低下させる（k が大きい場合にパフォーマンスが悪化）傾向があることを発見。
• ベースモデルの優位性：試行回数が増えるにつれて、ベースモデルがRLで訓練されたモデルに追いつき、最終的にそれを上回ることを示した。
• アルゴリズム比較：さまざまなRLVRアルゴリズムは類似した性能を示しており、現時点では最適化されていないことが観察された。
• vLLM統合：seed制御とvLLMにおける実行内サンプリングを用いた応答の多様性確保の実装詳細を提供。