OpenAI研究：モデルに不確実性を言葉で表現させる

OpenAIは、GPT-3モデルが自然言語を用いて回答に対する自身の不確実性を表現することを学習できることを実証し、校正された「verbalized probabilities（言語化された確率）」を生成します。この機能により、モデルは信頼度（例："90% confidence" や "high confidence"）をテキスト上で直接伝えることができ、モデルの内部ロジットにアクセスすることなく、人間が読み取れる信頼性の指標を提供します。

言語化された確率と校正

GPT-3は、事実に基づく回答とそれに対応する信頼度を自然言語で生成できます。これらの言語化された信頼度は、校正された実際の確率に対応しており、モデルが表現した信頼度が回答が正しい可能性を正確に反映していることを意味します。これは、モデルが自然言語を用いて自身の回答に対する校正された不確実性を表現できることが示された初めての事例です。

分布シフト下での性能

分布シフトが生じても、モデルは適度な校正を維持します。研究は、モデルが単に訓練データの人間例を模倣するのではなく、自己の回答の実際の不確実性に敏感であることを示しています。これは、モデルが内部知識を活用して自身の正確性を評価していることを示唆しています。

モデルロジットとの比較

これらの知見を評価するため、OpenAIはCalibratedMathタスクスイートを導入しました。研究者は「verbalized probability」（言葉で表現された不確実性）とモデルロジットから抽出した不確実性を比較しました。その結果、両手法とも分布シフト下で校正を一般化できることが示されました。

事前学習された潜在表現の役割

証拠は、GPT-3が校正を一般化する能力が事前学習された潜在表現に結びついていることを示唆しています。これらの表現は、モデルの回答に対する認識的不確実性（知識不足に起因する不確実性）と相関しており、モデルが内部の不確実性を自然言語表現に変換できるようにしています。