OpenAIはプロセススーパービジョンで数学的推論を改善

OpenAIは、プロセススーパービジョンを実装することで数学的問題解決における新たな最先端の状態を達成しました。これは、モデルが正しい最終答案だけでなく、推論の各正しいステップに報酬を与える方法です。このアプローチは、数学的パフォーマンスを向上させるだけでなく、人間が支持する思考の連鎖を生成するようにモデルを訓練することでAIアライメントも改善します。

プロセススーパービジョン vs. アウトカムスーパービジョン

プロセススーパービジョンは、思考の連鎖における各個別のステップにフィードバックを提供し、それに対しアウトカムスーパービジョンは最終結果に基づいてのみフィードバックを提供します。この区別は、最先端の大規模言語モデルでも発生する論理的な間違いである「hallucinations」を緩和する上で重要です。

プロセスに報酬を与えることで、モデルは人間が支持する論理的なパスに従うように直接訓練されます。対照的に、アウトカムスーパービジョンは、正しい最終答案にたまたま到達することのある未整合または間違った推論プロセスに意図せず報酬を与える可能性があり、これにより精査が難しくなり、信頼性が低下します。

AIアライメントとの「Alignment Tax」への影響

プロセススーパービジョンは、AIアライメントにいくつかの明確な利点をもたらします：

• 解釈可能な推論: モデルが人間が承認したプロセスに従うように促されるため、その結果得られる推論の連鎖はより解釈可能になります。
• 直接的なアライメント: 推論プロセスの各ステップに正確な監督が行われ、モデルが整合された思考の連鎖に従うことを保証します。
• ネガティブなアライメントタックス: 一般的に、より安全なAI手法を実装するとパフォーマンスが低下する現象があり、これを「アライメントタックス」と呼びます。しかし、数学の分野では、プロセススーパービジョンは「ネガティブなアライメントタックス」をもたらし、これはモデルの能力を実際に向上させながら同時にアライメントも改善することを意味します。

MATHデータセットにおけるパフォーマンスベンチマーク

OpenAIは、MATHテストセットを使用してプロセススーパービジョンとアウトカムスーパービジョンの報酬モデルを評価しました。この評価では、各問題に対して複数の解を生成し、それぞれの報酬モデルによって最高ランクとされた解を選択しました。

主な発見は以下の通りです：

• 優れた精度: プロセススーパービジョンの報酬モデルは、すべてのテスト済みシナリオでアウトカムスーパービジョンのモデルを上回りました。
• 信頼性の向上: 問題ごとに考慮される解の数が増えるにつれて、二つの手法間のパフォーマンスギャップが広がり、これはプロセススーパービジョンの報酬モデルが正しい推論経路を特定する際により信頼できることを示しています。

ケーススタディ: 複雑な三角関数

報酬モデルの有効性を示すため、OpenAIは$ an 100^{\circ} + 4 \sin 100^{\circ}$の簡略化を含む挑戦的な三角関数問題を強調しました。

GPT-4は通常この特定の問題に苦戦し、解答試行のわずか0.1%しか正解に到達しませんが、プロセススーパービジョンの報酬モデルは有効な解を正しく認識することができました。この有効な解は、正解である$-\sqrt{3}$に到達するために、三角関数の恒等式と簡略化の複雑な26ステップのシーケンスを必要としました。

今後の研究方向

これらの結果は数学的推論において重要ですが、OpenAIはプロセススーパービジョンが他のドメインにどの程度一般化できるかはまだ不明であると指摘しています。今後の研究では、この手法が非数学的タスクにおいてもパフォーマンスの向上とアライメントの改善という同様の組み合わせを提供できるかを探求することに焦点を当てます。