OpenAIによるSWE-bench Proコーディング評価の欠陥に関する分析

OpenAIは、SWE-bench Proベンチマークの推奨を撤回しました。データセット内のタスクの約30%が破損していると結論付けたためです。この発見は、ベンチマークの731タスクのパブリックスプリットに対する厳格な監査の結果であり、多くの評価が、機能的に正しい解決策にペナルティを与えたり、不完全な解決策に報酬を与えたりすることで、モデルの能力に対して誤ったシグナルを提供していることが明らかになりました。

コーディングベンチマークの失敗モード

OpenAIは、コーディング評価を無効にする4つの主要な欠陥カテゴリを特定しました。これらの問題は、ベンチマークが現実世界のGitHubのissueやpull requestからプログラム的に取得されているという事実に起因することが多く、これらは元々、隔離された機械テストではなく、人間によるコラボレーションを目的として作成されたものです。

• 過度に厳格なテスト: プロンプトで指定されていない特定の、実装の詳細を強制するテスト。これにより、機能的に正しい提出物が失敗します。
• 仕様不足のプロンプト: 非表示のテストによって強制される要件が、提供されたコンテキストから合理的に推論できない場合に、それらの要件をプロンプトから省略しているもの。
• 低カバレッジのテスト: 要求された機能を十分にチェックできず、不完全または不正確な修正を通過させてしまうテスト。
• 誤解を招くプロンプト: モデルを誤った動作へと導いたり、テストの要件と直接矛盾したりする指示。

監査手法: エージェントと人間

これらの欠陥を特定するために、OpenAIは二重のトラックの品質保証パイプラインを採用しました。このアプローチは、以前は手動で行うにはコストが高すぎた、スケーラブルなデータ品質チェックを実行するためのAIエージェントの有用性が高まっていることを示しています。

自動エージェントレビュー

最初のフィルターにより、286個の潜在的に破損したタスクがフラグを立てられました。これらはその後、タスクのリポジトリと環境にアクセスできるCodexベースの調査エージェントによって監査されました。これらのエージェントは、テストを実行し、ファイルを検査し、一般的な失敗モードを調査することで、合理的な曖昧さと真の仕様不足を区別することができました。

人間によるアノテーションキャンペーン

並行して、5名の経験豊富なソフトウェアエンジニアが、フラグを立てられたタスクをレビューしました。レビュー担当者は、問題文、テストケース、および「gold patch」（正解のリファレンスソリューション）に基づいて、独立した判断を下しました。

比較結果

エージェントのパイプラインと人間のレビュー担当者は、ケースの74%で重複していましたが、人間のレビュー担当者は、タスクを破損していると判断する傾向がより高いことが分かりました。具体的には、人間はベンチマークの9.4%において、低カバレッジのテストを最も一般的な問題としてフラグを立てましたが、エージェントのパイプラインではわずか4.1%でした。これは、エージェント主導のレビューが保守的であり、重複する問題を過小評価する可能性があることを示唆しています。

業界の視点と反論

これらの発見に関するコミュニティの議論は、「クリーンな」ベンチマークとソフトウェアエンジニアリングの現実との間の緊張関係を明らかにしています。

現実世界のノイズは機能である

一部の批判者は、仕様不足のプロンプトや矛盾する指示は、ベンチマークの「バグ」ではなく、むしろプロフェッショナルな環境を正確に反映していると主張しています。あるコメントは次のように述べています。

ソフトウェア開発者（人間であれ、そうでなければあれ）に割り当てられたタスクスクリプトは、しばしば不完全で、自己矛盾しており、あるいはさらに悪い状態であることが多いと、彼らは結論付けているのではないですか？ これは、彼らのツールが戦わなければならない世界です。

「Benchmaxxing」問題

他の観察者は、AI評価におけるより広範範なシステム的問題として、「報酬ハッキング」や「benchmaxxing」（ラボがタイムアウトやハードウェア構成を修正して、スコアを人工的に膨らませる行為）の蔓延を指摘しています。これは、多くのベンチマークマークが「one-shot」であり、実際の開発者ワークフローを特徴付ける長期間の繰り返しサイクルをテストしていないという事実によって、さらに複雑化しています。

結論: キュレーションされたベンチマークの必要性

OpenAIは、オーガニックなオープンソースデータから取得されたベンチマークは、本質的にノイズに陥りやすいと結論付けています。部署の展開と安全性の決定が有効なデータに基づいていることを確ってもらうために、OpenAIは、プログラム的に収集されたデータに頼るのではなく、経験豊富なソフトウェア開発者によってモデル評価用に特別に作成された新しいベンチマークの開発を提唱しています。