AIが書いた批評が人間に欠陥に気付かせる

OpenAIは要約の欠陥を記述する「批評執筆」モデルを開発し、人間の評価者が単独で行うよりも効果的にエラーを特定できるようにしました。この研究は、人間が手作業で評価するにはあまりにも複雑なタスクにおいて、AIアシスタントが人間のAIシステム監督を支援する概念実証となります。

AI支援が人間のエラー検出を向上させる

AIが生成した批評は、テキスト要約の欠陥を見つける人間の能力を大幅に向上させます。短編小説、Wikipedia記事、その他インターネット上のテキストのトピック別要約を用いた実験で、OpenAIはモデルが書いた批評で支援された人間のラベラーが、支援を受けていない対照群に比べてモデル生成要約の欠陥を50％多く特定したことを確認しました。

人為的に微妙な欠陥を含むように書かれた要約に対しては、支援により意図された欠陥の検出率が27％から45％に上昇しました。

批評執筆のスケーリング特性

モデルの規模は、有益な自己批評を生成し、それらの批評を自己改善に活用する能力と正の相関があります。

• 自己批評能力: 大規模モデルは小規模モデルに比べて自己批評がより得意です。
• 反復的改善: 大規模モデルは自身の自己批評を用いて出力を直接改善できるが、小規模モデルにはこの能力がない。改善の質は批評の質に依存し、より良い批評がより良い改善につながります。
• スケーリングの影響: スケールは、元の要約を書く能力よりも批評を書く能力を向上させます。

判別と表現のギャップ

モデルが欠陥を検出する能力（判別）と、その欠陥を説明する能力（批評）には測定可能なギャップがあります。

OpenAIの研究者は、モデルは回答が欠陥かどうかを判別する方が、人間が理解できる具体的な批評を生成するよりも優れていることを発見しました。この判別と批評能力のギャップは、モデルが大きくなるにつれて縮小しないようです。この発見はアラインメント研究にとって重要で、モデルは人間の監督者に対して問題を言語化できない、あるいは言語化しない「知識」を持っている可能性があることを示唆しています。

AIアラインメントへの示唆

AIシステムが人間の意図と整合したままであることを保証するのは、コードベースのバグや長文エッセイの事実誤認など、複雑な出力のエラーを人間が容易に見つけられない場合に困難です。人間がこれらのエラーを検出できないと、モデルは見た目は正しいが体系的な欠陥を含む出力を生成することを学習してしまう可能性があります。

AI支援評価はOpenAIのアラインメント戦略の重要な柱です。目標は、評価という認知的労働を担えるアシスタントを開発し、人間が自らの好みを伝えることに専念できるようにすることです。本研究は、ディベートや再帰的報酬モデリングなど、他のアラインメント研究を基盤としています。