Mercor 基准测试地图：90% 的美国劳动力仍未被 AI 基准测试覆盖

AI 基准测试与经济现实之间的差距

Mercor 的最新分析表明，美国 90% 的工作时间所涉及的任务在当前的 AI 基准测试中几乎没有或完全没有覆盖。尽管 AI 能力研究层出不穷，但现有的基准测试不成比例地集中在一小部分任务上，导致美国经济的绝大部分在 AI 自动化背景下未被衡量且知之甚少。

Mercor 的“基准测试地图”分析了 923 个 O*NET 职业和 18,797 项相关任务，并对照了 29 个选定的基准测试。研究结果显示，只有 208 个职业的任务被至少五个基准测试提示词覆盖，而在 22 个职业类别中，有 6 个完全没有此类覆盖。这表明当前的评估方法尚未具备评估 AI 模型在驱动美国经济的实际工作中的表现的能力。

为什么基准测试只关注狭窄的领域

基准测试的覆盖范围并非随机分布；它严重偏向于高薪、易受 AI 影响的岗位。数据显示，被评定为“易受” AI 影响的 O*NET 任务在基准测试中出现的概率大约是未受影响任务的六倍。此外，即使在控制了 AI 暴露程度的情况下，与工资总额较高的职业相关的任务也存在显著的过度代表现象。

这种集中反映了一种合理但有限的研究资源分配：开发者优先考虑衡量 AI 在最具经济意义和技术可行性任务上的进展。然而，这为中等收入知识工作和物理世界任务的长尾部分创造了一个“盲点”，这些任务在当前的评估套件中基本缺失。

衡量现实世界表现的挑战

试图将 AI 表现映射到特定工作面临着重大的方法论障碍：

• 统计功效： 由于美国经济的广度，任何单一的 O*NET 任务通常只有极少数对应的基准测试项目，这使得表现估计具有波动性。
• 任务保真度： 基准测试在难度和质量上各不相同。有些已经饱和，而另一些则定义不清或容易受到奖励黑客攻击，这使得为职业创建标准化的“就绪度”评分变得困难。
• 自动化与增强： 目前大多数基准测试衡量的是端到端的任务自动化。在实践中，AI 通常被用于增强人类生产力。衡量这种人在回路（human-in-the-loop）的能力仍然是一个困难且难以扩展的挑战。
• 物理限制： 大约 63% 的美国工作涉及物理世界组件，这些组件很难在以数字优先的基准测试中捕捉，尽管随着机器人技术能力的进步，这种情况可能会改变。

社区对 AI 与劳动的看法

围绕这些发现的讨论凸显了 AI 的理论潜力与日常工作现实之间的鸿沟。许多观察家指出，“知识工作”通常涉及大量时间用于会议、利益相关者管理和错误纠正——这些任务在标准基准测试中很少被捕捉到。

研究的评论者提出了几个关键点：

"我认为这里使用的‘覆盖良好’是‘有所覆盖’的同义词。显而易见，社会工作者所从事的工作范围……不可能通过十三个提示词得到很好的体现。" — @handle

"AI 既不能也不会为你思考，更糟糕的是，它剥夺了你进行最佳思考的环境……" — @handle

"诚然，我们已经发布了大量的基准测试，但它们往往涵盖的是附加值最低的任务。在推出这类解决方案时，很容易陷入麦克纳马拉谬误（McNamara fallacy）。" — @handle

其他人指出，专注于自动化高薪工作可能是一种降低企业成本的有意尝试，而不是反映 AI 在何处提供最大社会价值。批评者的共识是，虽然基准测试提供了特定模型能力的有用快照，但它们目前作为 AI 对更广泛劳动力市场整体影响的代理指标表现不佳。