セルフインプルーブAIエージェント検証手法概観

数学文章問題を解くための検証者の訓練（OpenAI 2021）

核心的なポイントは、完全な解答の正しさを予測するように訓練された検証者が、繰り返しサンプリングと組み合わせることで回答選択を改善できるということであり、特に検証者の訓練データが増えるほど効果が顕著になることです。 本論文は、マルチステップ推論と自然言語解答を必要とする8,500問の小学校レベルの数学問題からなるGSM8Kデータセットを導入しました。 検証者を訓練するために、著者らはGSM8Kの一部で言語モデルを2エポック微調整し、各問題につき100件の完了文を生成し、人間が提供した最終解答を用いて各完了文を正解か不正解かにラベル付けし、そのラベル付きデータで検証者を1エポック訓練しました。 検証者のアーキテクチャは、トークンごとに二値予測を出力するスカラー・ヘッドを持つ言語モデルです。テスト時には最終トークンのスコアを用いて完了文をランク付けし、最もスコアが高いものを選択します。 アブレーション研究により、検証はラベル付き例が約1,000件以上ある場合に純粋な教師あり微調整を上回り、また、生成器が大きく検証者が小さい構成の方が逆の場合よりも効果的であることが示されました。 問題あたりの完了文数を増やすと精度は約400サンプルまで向上しますが、それ以上になると検証者の精度が低下します。これは、正解と不正解が非常に近い回答を区別できなくなるためです。

Let's Verify Step by Step（OpenAI）

主な結論は、プロセス監督型報酬モデル（PRM）は、結果監督型報酬モデル（ORM）に比べて、クレジット割り当てがより細かく、幻覚に対しても頑健であるということです。特に人間がステップごとの正しさにラベル付けしたデータが利用できる場合に顕著です。 著者らは、モデル生成の推論チェーンに対して80万件の人手ラベル付きステップを含むPRM800Kデータセットを作成しました。 ORMの訓練では最終トークンのスコアを報酬として使用し、PRMの訓練ではステップごとの確率を掛け合わせてシーケンスレベルの報酬を算出しました。 GSM8Kでの実験結果は、PRMがORMや多数決投票を上回り、ORMが見逃す稀な正解解を正しく識別し、さらにPRMは追加ラベルから得られる利益がORMより大きいことを示しました。 プロセス監督は偽陽性を減らします。なぜなら、誤った推論経路で正しい最終答に到達しただけでは高い報酬を得られず、ステップごとのラベルがそのようなショートカットを罰するからです。 著者らは、PRMとORMのシグナルを組み合わせることで両者の利点を取り込めるが、しきい値ハイパーパラメータの調整が必要になると指摘しています。

Math‑Shepherd: Automatic Step‑Level Annotation

重要な結果は、ステップごとのラベルが人手によらず自動生成できることです。各ステップが正しい最終答に到達する可能性をサンプリングで推定し、これを自動PRMとして強化学習の報酬モデルに利用すれば、生成器をさらに改善できることが示されました。 現在の推論ステップが与えられたとき、手法はN個の継続文をサンプリングします。ハード推定は、いずれかの継続が正しい最終答に到達すればステップを成功とラベル付けし、ソフト推定は成功した継続の割合を用います。 著者らはN=4のときハードとソフトの推定が同等の性能を示すことを確認し、シンプルさのためハード推定を採用しました。 この自動生成ラベルを用いてPRMを訓練し、続いてPPOで生成器（例：Mistral‑7B）をPRMに対して微調整した結果、GSM8Kでの精度が向上し、より難易度の高いMATHデータセットでもORMベースの報酬を使用した場合に比べて大幅な改善が得られました。 このアプローチは自己整合性（多数決投票）ベースラインでも有効で、学習したPRMが単純な投票選択よりも強力なシグナルを提供することを示しています。

Weaver: Ensemble of Weak Verifiers

中心的な発見は、多くの不完全な検証者を弱→強の監督手法（例：ナイーブベイズやロジスティック回帰）で組み合わせることで、はるかに強力な検証者が得られ、さらにそのアンサンブルを小型モデルに蒸留すれば、ほぼ同等の精度を保ちつつテスト時計算コストを大幅に削減できるということです。 Weaverは各検証者（PRM、ORM、LLMジャッジ等）を候補解へのノイズラベルとみなし、検証者エラーが独立であるという仮定の下で、小規模なラベル付きデータから検証者の精度を推定し、スコアを最適に重み付けして統合します。 低品質な検証者は重み付け前に除外されます。 GPQA Diamond、MATH、MLU Proといった難関ベンチマークにおいて、重み付けアンサンブルは8Bパラメータ生成器で精度を40％台から70％台へ向上させ、o3‑miniのようなはるかに大規模なモデルと同等の性能を示しました。70B生成器に拡張すると平均精度は86.2％に達します。 重み付けアンサンブルを4億パラメータモデルに蒸留すると、アンサンブル精度の97％を保持しつつ、テスト時計算を99％以上削減できます。 すべてのチェックポイントはオープンソースで公開されており、エージェント的利用やテスト時スケーリングプロジェクトで活用できます。