OpenAI SimpleQA ベンチマークリリース

TL;DR

OpenAI は SimpleQA をリリースしました。これは 4,326 の短い事実探索質問からなるオープンソースの事実性ベンチマークで、最先端言語モデルの事実的正確性とキャリブレーションを評価・比較することを目的としています。

SimpleQA とは？

SimpleQA は、単一の検証可能な回答を持つ短いクエリに焦点を当てた事実性ベンチマークです。簡潔な事実探索質問に範囲を限定することで、モデルの応答が正しいか、間違っているか、あるいは試みられなかったかを測定しやすくしています。データセットは 4,326 の質問を含み、科学、技術、テレビ番組、ビデオゲームなど幅広いトピックを網羅しているため、最先端モデルに対して多様性と挑戦性の両方を提供します。

データセット構築と品質保証

  • 高い正確性 – 2 人の独立した AI トレーナーがソースで裏付けられた参照回答を生成し、3 人目のトレーナーがランダムに抽出した 1,000 件の質問サンプルを検証して 94.4% の一致率を達成しました。手動検査では、固有のエラー率は約 3% であることが示唆されています。
  • 多様性 – トピックは複数の領域にまたがり、元の投稿の円グラフ分布で示されています。
  • 最先端の難易度 – TriviaQA（2017）や Natural Questions（2019）などのベンチマークは飽和状態ですが、SimpleQA は依然として挑戦的で、GPT‑4o のスコアは 40% 未満です。
  • 研究者の UX – 質問と回答は簡潔で、OpenAI API や他のモデル API を通じた高速評価が可能です。規模が小さいため、実行間の分散が低く抑えられます。

採点方法

SimpleQA は、モデルが予測した回答と正解回答の両方を受け取る ChatGPT プロンプト分類器を使用します。分類器は以下の 3 つの等級のいずれかを割り当てます。

等級 定義 例（質問: 2022 年のオランダ対アルゼンチンのワールドカップ試合で、オープンプレイのゴールを決めたオランダ選手は誰ですか？; 回答: Wout Weghorst）
正解 予測された回答が矛盾なく完全に真実の回答を含んでいる。 "Wout Weghorst"; "Wout Weghorst scored at 83’ and 90+11’"
不正解 予測された回答が何らかの形で真実の回答と矛盾している（たとえ曖昧でも）。 "Virgil van Dijk"; "Virgil van Dijk and Wout Weghorst"; "Wout Weghorst and I think van Dijk scored, but I am not totally sure"
未回答 回答が対象の事実を提供せず、矛盾も含まない。 "答えがわかりません"; "ご自身でインターネットを検索してください"

モデルは正解数を最大化し、不正解数を最小化すべきです。「未回答」の応答は、幻覚（ハルシネーション）よりも好まれます。

SimpleQA におけるモデル比較

上記の採点方式を用いて、OpenAI はブラウジングを行わない複数のモデルを評価しました。

  • GPT‑4o‑mini と o1‑mini は GPT‑4o と o1‑preview より正解数が少なく、モデルが小さいほど世界知識が低いことを示しています。
  • o1‑mini と o1‑preview は「未回答」を選択する頻度が高く、不確実性を認識して幻覚を避けていることが示唆されます。

これらの傾向は、より大きなモデルや推論に重点を置くモデルが高い事実的正確性を示すという期待と一致します。

キャリブレーション測定

SimpleQA は、モデルの信頼度が実際の正確性と一致しているかどうかを評価するためにも使用されます。

明示的信頼度キャリブレーション

モデルには各回答とともに信頼度（パーセンテージ）を提示させました。信頼度と観測された正確性をプロットすると正の相関が見られ、モデルがある程度の自信概念を持っていることが確認できました。ただし、すべてのモデルが理想的な y = x 線より下に位置し、体系的な過信が見られました。特に o1‑preview は o1‑mini より、GPT‑4o は GPT‑4o‑mini よりキャリブレーションが良好で、モデルが大きいほどキャリブレーションが向上するという先行研究と合致します。

頻度ベースのキャリブレーション

各質問を 100 回繰り返し、回答の一貫性を測定しました。同一文字列の出現頻度が高いほど、すべてのモデルで正確性が向上することが判明しました。o1‑preview が頻度と正確性の整合性が最も高く、同種の小型モデルや GPT‑4o‑mini を上回ります。

制限事項と今後の課題

SimpleQA の対象は意図的に狭く、短く単一回答のクエリに対する事実性のみを評価します。SimpleQA の性能が、長文や複数事実を含む生成物の信頼性を予測できるかは未解決です。よりリッチな回答形式をカバーするベンチマークの拡張が、モデルの真実性を包括的に理解するために必要です。

影響と呼びかけ

OpenAI は SimpleQA をオープンソース化（GitHub リポジトリは github.com/openai/simple-evals）し、研究コミュニティに事実性評価のベンチマーク化、改善、フィードバック提供を呼びかけています。広範な採用は、より信頼性の高い言語モデルの開発と、キャリブレーションを考慮した学習手法の指針となる可能性があります。

著者: Jason Wei, Karina Nguyen, Hyung Won Chung, Joy Jiao, Spencer Papay, Mia Glaese, John Schulman, Liam Fedus

Sources