Mercorベンチマークマップ: 米国の労働の90%がAIベンチマークでカバーされていない

AIベンチマークと経済的現実のギャップ

Mercorによる最近の分析によると、米国の労働時間の90%は、現在のAIベンチマークではほとんど、あるいは全くカバーされていないタスクに費やされています。AI能力の研究は急増していますが、既存のベンチマークは特定の狭い範囲のタスクに偏っており、米国経済の大部分はAI自動化という文脈において測定されておらず、十分に理解されていません。

Mercorの「ベンチマークマップ」は、923のO*NET職業とそれに関連する18,797のタスクを、29の選択されたベンチマークに対して分析しました。その結果、少なくとも5つのベンチマークプロンプトでタスクがカバーされている職業はわずか208であり、22の職種ファミリーのうち6つは全くカバーされていないことが明らかになりました。これは、現在の評価手法が、米国経済を牽引する実際の業務においてAIモデルがどのように機能するかを評価する準備がまだできていないことを示唆しています。

なぜベンチマークは狭い範囲に集中するのか

ベンチマークのカバー範囲はランダムに分布しているわけではなく、高賃金でAIの影響を受けやすい役割に大きく偏っています。データによると、AIに「さらされている」と評価されたO*NETタスクは、そうでないタスクに比べてベンチマークで表現される可能性が約6倍高いことが示されています。さらに、AIへの露出度を調整した場合でも、賃金総額が大きい職業に関連するタスクは著しく過大評価されています。

この集中は、合理的ではあるものの限定的な研究リソースの配分を反映しています。開発者は、経済的に最も重要で技術的に実行可能なタスクにおけるAIの進歩を測定することを優先しています。しかし、これにより、現在の評価スイートからほとんど欠落している、中所得のナレッジワークや物理的なタスクのロングテールに対する「死角」が生じています。

現実世界のパフォーマンス測定における課題

AIのパフォーマンスを特定の職種にマッピングしようとすると、重大な方法論的ハードルに直面します。

• 統計的検出力: 米国経済の広大さゆえに、個々のO*NETタスクに対応するベンチマーク項目は非常に少ないことが多く、パフォーマンスの推定値が不安定になります。
• タスクの忠実度: ベンチマークは難易度や品質がまちまちです。飽和状態のものもあれば、定義が不十分であったり、報酬ハッキングの影響を受けやすかったりするものもあり、職業に対する標準化された「準備完了」スコアを作成することが困難です。
• 自動化 vs. 拡張: 現在のベンチマークのほとんどは、エンドツーエンドのタスク自動化を測定しています。実際には、AIは人間の生産性を高めるために使用されることがよくあります。このヒューマン・イン・ザ・ループの能力を測定することは、依然として困難でスケーラブルではない課題です。
• 物理的制約: 米国の仕事の約63%には物理的な要素が含まれており、デジタルファーストのベンチマークで捉えることは困難ですが、ロボット工学の能力が向上するにつれて変化する可能性があります。

AIと労働に関するコミュニティの視点

これらの調査結果をめぐる議論は、AIの理論的な可能性と日々の仕事の現実との間の隔たりを浮き彫りにしています。多くの観察者は、「ナレッジワーク」には会議、ステークホルダー管理、エラー修正に費やされる時間が多く含まれており、これらのタスクは標準的なベンチマークではほとんど捉えられていないと指摘しています。

この研究に対するコメント投稿者は、いくつかの重要な点を提起しました。

「ここで『十分にカバーされている』という言葉が、『とにかくカバーされている』という同義語として使われているように思います。ソーシャルワーカーが行う仕事のスペクトルが……13個のプロンプトで十分に表現できないことは自明です。」

「AIはあなたの代わりに考えることはできないし、そうもしない。さらに悪いことに、あなたが最高の思考を行える環境を奪ってしまうのです……」

「公開されているベンチマークはたくさんありますが、それらは付加価値の低いタスクをカバーする傾向があります。こうしたソリューションを展開する際、マクナマラの誤謬に陥るのは非常に簡単です。」

他の人々は、高賃金の仕事を自動化することへの焦点は、AIが最も社会的価値を提供する場所を反映しているのではなく、企業コストを削減するための意図的な取り組みである可能性があると指摘しました。批評家の間でのコンセンサスは、ベンチマークは特定のモデル能力の有用なスナップショットを提供するものの、現在のところ、より広範な労働市場に対するAIの影響を測る指標としては不十分であるというものです。