在 Anthropic 设计抗 AI 的技术评估

随着 AI 能力的提升，评估技术候选人变得越来越困难，因为过去能区分人类技能水平的传统家庭作业，如今模型可以轻松解决。

Anthropic 已对其性能工程家庭作业测试进行了多次迭代，以确保其能有效抵御 AI 辅助，最终从现实、特定领域的问题转向高度受限的新颖谜题，以保持对人类专业知识的可测量信号。

抗 AI 评估的挑战

最初的家庭作业测试用于为 Anthropic 的新规模招聘工程师，被证明具有很高的预测性，其中一位候选人的得分远高于其他所有人。然而，Claude 模型的快速改进很快使该测试过时。

  • Claude Opus 4： 该模型在 4 小时时限内表现优于大多数人类申请者，但仍能区分出最优秀的候选人。
  • Claude Opus 4.5： 该模型在家庭作业测试的限制下达到了顶尖人类候选人的表现，消除了区分最佳人类与最强模型的能力。

这迫使 Anthropic 放弃原始设计，并寻求越来越不寻常的方法，以确保评估保持有意义的信号。

原始家庭作业设计与目标

2023 年 11 月，原始家庭作业旨在高效捕捉性能工程的需求，弥补标准面试流程的不足。

设计目标

该测试旨在真正引人入胜且高信号，避免通用问题。关键设计原则包括：

  • 更长的时间范围： 4 小时的时间窗口（后来减少到 2 小时）更好地反映了性能工程任务很少具有短截止日期的现实。
  • 现实环境： 候选人不受干扰地工作，模拟真实世界的编码条件。
  • 理解与工具构建的时间： 该格式允许候选人花时间理解现有系统并构建必要的调试工具。
  • 与 AI 辅助的兼容性： 问题被设计得足够复杂，候选人可以使用 AI 工具（就像他们在工作中那样），同时仍需展示独立技能。

模拟机器

原始问题的核心是一个模拟类似 TPU 的假加速器的 Python 模拟器。候选人优化在这台机器上运行的代码，使用显示每条指令的 Perfetto 跟踪。

模拟机器包含了加速器优化关键特性，包括：

  • 手动管理的暂存器内存。
  • VLIW（超长指令字）架构，要求高效的指令打包。
  • SIMD（单指令多数据）向量操作。
  • 多核处理。

任务本身是并行树遍历，特意选择为非深度学习风格，允许候选人展示可以在工作中学习的基本性能工程技能。

对抗 AI 的迭代

随着 Claude 模型击败原始测试，Anthropic 进行了两次主要的重新设计尝试，以保持评估的严谨性。

尝试 1：更难的优化问题（数据转置）

第一次尝试涉及一个基于在 2D TPU 寄存器上高效数据转置并避免存储体冲突的问题。Claude Opus 4.5 通过意识到可以转置整个计算而不仅仅是数据，迅速找到了人类设计者未曾预料到的高效优化。

这次尝试失败是因为问题依赖于广泛记录且存在于 Claude 训练数据中的概念（数据转置和存储体冲突），使模型能够利用大量先验经验的工具箱。

尝试 2：受限谜题（Zachtronics 风格）

为了迫使人类推理战胜 Claude 庞大的经验基础，第二次尝试专注于受 Zachtronics 益智游戏启发的高度分布外问题。这个新的家庭作业使用了一个微小的、高度受限的指令集，要求候选人优化解决方案以最小化指令数量。

  • 设计： 谜题故意不提供可视化或调试工具，要求候选人构建自己的工具或使用打印语句。
  • 结果： 早期结果令人鼓舞，分数与过去工作的水平相关性良好，一位有能力的同事得分高于迄今为止测试的任何候选人。

这种新设计将重点从模拟现实工作转向模拟新颖、高度受限的工作。

性能基准与开放挑战

Anthropic 将原始家庭作业作为开放挑战发布，指出在足够长的时间范围内，人类专家相对于当前模型仍保持优势。

以下基准（以模拟机器的时钟周期衡量）展示了人类与 AI 性能之间的差距：

  • 2164 周期： Claude Opus 4 在测试时计算环境中运行数小时后。
  • 1790 周期： Claude Opus 4.5 在随意的 Claude Code 会话中，大约相当于 2 小时内最佳人类表现。
  • 1579 周期： Claude Opus 4.5 在测试时计算环境中运行 2 小时后。
  • 1548 周期： Claude Sonnet 4.5 在超过 2 小时的测试时计算后。
  • 1487 周期： Claude Opus 4.5 在环境中运行 11.5 小时后。
  • 1363 周期： Claude Opus 4.5 在改进的测试时计算环境中运行数小时后。

优化到 1487 周期以下——在发布时击败 Claude 的最佳表现——的个人被邀请提交他们的代码和简历给 Anthropic。

SUMMARY: Anthropic 详细介绍了其技术家庭作业评估的演变，展示了日益强大的 Claude 模型如何促使进行彻底的重新设计，以保持区分顶尖人类工程师的信号。

TITLE: 在 Anthropic 设计抗 AI 的技术评估

Sources