トレインタイムスケーリングと自己改善型AIエージェントのための強化学習のスケーリング

Train‑Time Scaling Overview

train‑time scalingの核となる考え方は、モデル自身の出力を使用し、正しさでフィルタリングし、そのフィルタリングされた出力でモデルをファインチューニングすることです。これにより、モデルパラメータの代わりに計算を使用します。これにより、生成された解決策が検証され、正しければ保持され、さらにモデルを改善するために使用されるループが作られます。このループは、数学的推論やコード実行のように最終的な答えを自動的にチェックできる強力な検証器があるドメインで最も効果的に機能します。

STaR: Bootstrapping Rationales

STaR（Self‑Taught Reasoner）は、小さな質問‑理由‑答えの例のセットから始めて、より多くの質問に対する答えを生成し、正しい答えのみを保持し、間違った試みに対して正しい答えをヒントとして与え、モデルに理由を生成させることで、理由の連鎖をブートストラップします。その後、収集された理由と答えでモデルをファインチューニングし、このプロセスを反復的に繰り返すことができます。トランスクリプトによると、「STaRが持つ重要な洞察は非常に単純です」―最終的な答えの正しさを理由の品質の代理として扱い、答えをヒントとして与えられたときにモデルが有効な理由を生成できると仮定しています。GPT‑J（6 B）での実験では、CommonsenseQAでのパフォーマンスが向上（標準の教師ありファインチューニングに必要なデータの86％しか使用せずに72.5％の精度を達成）しましたが、GSM8Kでは良いデータでの直接ファインチューニングと同様にほとんど改善が見られませんでした。STaRは完全な強化学習法ではないため、いくつかの反復後にプラトーに達します。

DeepSeekMath and GRPO

DeepSeekMathは、コード事前学習モデルから始めて、Common Crawl（OpenWebMath）から数学データをキュレートし、Group Relative Policy Optimization（GRPO）を適用することで、数学的推論のための強化学習をスケールアップします。GRPOは、PPOで使用される批判者と価値関数をグループベースのアドバンテージ推定に置き換えます：各質問に対して多くの答えをサンプリングし、報酬モデルでスコアリングし、アドバンテージを（報酬 − 平均報酬） / 標準偏差報酬として計算します。これにより、PPOに必要な4つのモデルコピーではなく、わずか3つのモデルコピーで済むため、メモリ効率が良くなります。より簡単な数学ベンチマーク（AIMEではない）では、DeepSeekMathは7 Bモデルを使用して精度を46.8％から51.7％に向上させました。この改善はmajority‑at‑Kメトリクスで見られ、pass‑at‑Kは増加せず、これは根本的な問題解決能力の飛躍ではなく、一貫性の向上を示しています。

DAPO: Stabilizing RL for Long Reasoning

DAPOは、長いチェーン・オブ・ソート推論にGRPOを適用するときに生じる3つの不安定性問題―エントロピーの崩壊、応答長の制御不能、ノイズの多い切り捨て出力―に対処します。非対称クリッピング（PPOクリップでの増加よりも減少を許容）、動的サンプリング（すべてゼロまたはすべて一の報酬を持つグループをフィルタリングして有用な勾配信号を維持）、トークンレベル損失（各シーケンスを等しく扱う代わりにトークン数で損失を重み付け）、および過長トークンに対する段階的なペナルティ（制御不能な生成を抑制）を導入します。Qwen‑32Bモデルを使用したAIMEベンチマークに適用すると、ベースラインGRPOは約30％の精度を示し、過長フィルタリングの追加で36％、非対称クリッピングで38％、ソフト過長罰で41％、トークンレベル損失で42％、動的サンプリングで約50％となりました。前述の方法と同様に、この向上はpass‑at‑Kではなくmajority‑at‑Kのパフォーマンスにおいて見られました。

Results on AIME and Reasoning Benchmarks

講義では、従来のパラメータによるスケーリング観点とtrain‑time scalingの結果を対比しています：175 Bパラメーターモデル（GPT‑3.5）はAIMEでわずか約5％しか得点せず、それに対し7 BモデルをDeepSeekMathでトレーニングすると51.7％（追加のテクニックで最大60％）に達し、32BモデルをDAPOでトレーニングすると約50％になります。これらの結果は、推論トレースの生成とフィルタリングに計算を投資することでモデルサイズを代替できることを示していますが、主な効果は以前に解決不能だった問題を解く能力（pass‑at‑K）ではなく、複数のサンプル間の一貫性の向上（majority‑at‑Kの増加）です。

Open Questions and Limitations

講演の終わりに、いくつかのオープンな研究方向性が示されています：なぜmajority‑at‑Kは改善するがpass‑at‑Kは改善しないのか；失敗した試みからどのように学ぶか、フィルタリングする代わりに；データが乏しいときにどのように十分な検証信号を得るか（例えば、検証器のアンサンブルを使用して）；そして、STaRスタイルの理由付けとDAPOスタイルのRL安定化を組み合わせることでさらなる向上が得られるかどうか。また、train‑time scalingは依然として強い報酬信号と検証器に依存しており、このアプローチは既知のフォーマットでの一貫性を向上させるだけで、まったく新しい問題タイプへの一般化をモデルに教えるものではないということにも言及しています。