OpenAIによる算数の文章題の解決とGSM8Kデータセット

OpenAIは、微調整されたGPT-3モデルのほぼ2倍の精度で、小学校レベルの算数の文章題を解決できるシステムを開発しました。このシステムは新しいベンチマークで55%の成功率を達成し、同じテストで60%のスコアを獲得した9〜12歳の子どもの小規模なサンプルと比較して、そのレベルの約90%に相当するパフォーマンスを発揮しました。

多段階推論の失敗を克服する

GPT-3のような大規模言語モデルは、通常、正確な多段階推論を必要とするタスクに苦戦します。これらのモデルは、正しい数学的な解法のスタイルやリズムを模倣することはできますが、しばしば重大な論理的エラーを犯します。自己回帰モデルはトークンを逐次的に生成するため、一度エラーが発生するとそれを修正するネイティブなメカニズムが欠けてています。たった一つの間違いが、その後の解法のすべてを修復不可能にしてしまうことがよくあります。

これを解決するために、OpenAIはモデルが自身のミスを認識し、正しい解法が見つかるまで反復できる検証システムを実装しました。このアプローチは、焦点をごく単純な生成から、複数の提案された解法の評価へとシフトさせています。

GSM8Kデータセット

数学的推論の研究を評価し促進するために、OpenAIはGSM8Kデータセットを公開しました。

データセットの特徴

• Composition: 8.5Kの高品質な小学校レベルの算数の文章題。
• Complexity: 各問題は解決するために2から8ステップを必要とします。
• Operations: 解法は、加法、減法、乗法、および除法を含む基本的な算術演算に依存しています。
• Format: 解法は純粋な数学的表現ではなく自然言語で記述されており、人間にとってより解釈しやすく、手法がドメインに依存しないものにしています。

OpenAIは、GSM8Kの概念は初歩的であるものの、問題の多様性が非常に高いため、最先端の微調整された言語モデルのパフォーマンスが低下することに言及しました。

エラー修正のための検証器のトレーニング

OpenAIは、提案された解法が正しいかどうかを評価する検証器をトレーニングすることで、パフォーマンスを向上させました。単一の出力に頼るのではなく、システムは与えられた問題に対して100個の候補解法を生成し、検証器を使用して最もランクの高い候補を選択します。

検証に関する主な知見

• Efficiency: 検証は生成よりも単純なタスクであることが多く、データセットが十分に大きい場合、強力なパフォーマンスの向上をもたらします。
• Scaling: フルトレーニングセットにおいて、検証を使用する6Bパラメータのモデルは、微調整された175Bパラメータのモデルをわずかに上回りました。これは、検証がモデルのサイズを約30倍に相当するパフォーマンス向上をもたらすことを示唆しています。
• Risk of Overfitting: データセットが小さすぎる場合、検証器は数学的推論の根本的な性質を学習するのではなく、最終的な答えを暗記することで過学習してしまう可能性があります。

汎用AIへの影響

正しい議論を生成し、誤ったものを認識する能力は、汎用AIにとっての根本的な要件です。小学校レベルの算数は、概念的には単純ですが、微妙なエラーに対して非常に敏感であるため、理想的なテストベッドとして機能します。モデルに、成功した解法と失敗した試行を区別させるようにトレーニングすることで、OpenAIは、将来的に、より論理的に複雑な領域に適用可能なスキルを開発することを目指しています。