AnthropicにおけるAI耐性のある技術評価の設計

AIの能力が進歩するにつれて、技術候補者の評価はますます困難になっています。今日、人間のスキルレベルを区別していた従来の自宅課題は、明日にはモデルによって簡単に解かれてしまうからです。

Anthropicは、AI支援に対して堅牢であり続けることを確保するために、パフォーマンスエンジニアリングの自宅課題を複数バージョンにわたって反復改良してきました。最終的には、現実的でドメイン固有の問題から、高度に制約された斬新なパズルへと移行し、人間の専門知識の測定可能なシグナルを維持しています。

AI耐性評価の課題

Anthropicの新しいスケール向けにエンジニアを採用するために使用された最初の自宅課題は、非常に予測力が高く、1人の候補者が他の全員よりも大幅に高いスコアを獲得しました。しかし、Claudeモデルの急速な改善により、このテストはすぐに時代遅れになりました。

  • Claude Opus 4: このモデルは、4時間の制限時間内にほとんどの人間の応募者を上回りましたが、それでも最強の候補者を区別することは可能でした。
  • Claude Opus 4.5: このモデルは、自宅課題の制約下でトップの人間候補者のパフォーマンスに匹敵し、最優秀の人間と最も有能なモデルを区別する能力を排除しました。

これにより、Anthropicは当初の設計を放棄し、評価が意味のあるシグナルを維持するために、ますます異例な方法を追求せざるを得なくなりました。

当初の自宅課題の設計と目標

2023年11月、当初の自宅課題は、パフォーマンスエンジニアリングの要求を効率的に捉え、標準的な面接パイプラインの限界に対処するために設計されました。

設計目標

このテストは、一般的な問題を避け、真に魅力的で高シグナルなものとして構成されました。主要な設計原則は以下のとおりです。

  • より長い時間枠: 4時間の枠（後に2時間に短縮）は、パフォーマンスエンジニアリングのタスクが短い締め切りを持つことがめったにないという現実をよりよく反映しています。
  • 現実的な環境: 候補者は気を散らすことなく作業し、実際のコーディング条件を反映します。
  • 理解とツール構築のための時間: この形式により、候補者は既存のシステムを理解し、必要なデバッグツールを構築する時間を得られます。
  • AI支援との互換性: この問題は、候補者が（仕事でそうするように）AIツールを使用できる一方で、独立したスキルを実証する必要があるように、十分に複雑になるように設計されました。

シミュレートされたマシン

当初の問題の核心は、TPUに似た偽のアクセラレータのPythonシミュレータでした。候補者は、すべての命令を示すPerfettoトレースを使用して、このマシン上で実行されるコードを最適化しました。

シミュレートされたマシンには、アクセラレータの最適化に重要な機能が組み込まれていました。これには以下が含まれます。

  • 手動で管理されるスクラッチパッドメモリ。
  • VLIW（Very Long Instruction Word）アーキテクチャ。効率的な命令パッキングが必要。
  • SIMD（Single Instruction, Multiple Data）ベクトル演算。
  • マルチコア処理。

タスク自体は並列ツリートラバーサルであり、意図的にディープラーニング風ではないものを選択し、候補者が仕事で学ぶことができる基本的なパフォーマンスエンジニアリングスキルを実証できるようにしました。

AIに対抗するための反復

Claudeモデルが当初のテストを打ち負かすにつれて、Anthropicは評価の厳格さを維持するために2つの主要な再設計を追求しました。

試み1：より難しい最適化問題（データ転置）

最初の試みは、バンクコンフリクトを回避しながら2D TPUレジスタ上の効率的なデータ転置に基づく問題を含みました。Claude Opus 4.5は、データだけでなく計算全体を転置できることに気づき、人間の設計者が予期していなかった非常に効率的な最適化をすぐに見つけました。

この試みは、問題が（データ転置とバンクコンフリクト）広く文書化され、Claudeのトレーニングデータに存在する概念に依存していたため、モデルが以前の経験の大きなツールボックスを利用できたために失敗しました。

試み2：制約付きパズル（Zachtronicsスタイル）

Claudeの広大な経験ベースに対して人間の推論を勝たせるために、2番目の試みは、Zachtronicsパズルゲームに触発された、非常に分布外の問題に焦点を当てました。この新しい自宅課題は、非常に小さく厳しく制約された命令セットを使用し、候補者は最小命令数でソリューションを最適化する必要がありました。

  • 設計: パズルは意図的に可視化やデバッグツールなしで提供され、候補者は独自のツールを構築するか、printステートメントを使用する必要がありました。
  • 結果: 初期の結果は有望で、スコアは過去の仕事の質とよく相関し、有能な同僚の1人はこれまでにテストされたどの候補者よりも高いスコアを獲得しました。

この新しい設計は、現実的な仕事のシミュレーションから、斬新で高度に制約された仕事のシミュレーションへと焦点を移します。

パフォーマンスベンチマークとオープンチャレンジ

Anthropicは当初の自宅課題をオープンチャレンジとして公開しており、人間の専門家は十分に長い時間枠では現在のモデルよりも優位性を維持していると述べています。

シミュレートされたマシンから測定されたクロックサイクルでの以下のベンチマークは、人間とAIのパフォーマンスのギャップを示しています。

  • 2164サイクル: テスト時計算ハーネスで数時間後のClaude Opus 4。
  • 1790サイクル: カジュアルなClaude CodeセッションでのClaude Opus 4.5。2時間での最優秀人間のパフォーマンスにほぼ一致。
  • 1579サイクル: テスト時計算ハーネスで2時間後のClaude Opus 4.5。
  • 1548サイクル: 2時間以上のテスト時計算後のClaude Sonnet 4.5。
  • 1487サイクル: ハーネスで11.5時間後のClaude Opus 4.5。
  • 1363サイクル: 改善されたテスト時計算ハーネスで数時間後のClaude Opus 4.5。

1487サイクル未満に最適化する個人—ローンチ時のClaudeの最高パフォーマンスを上回る人—は、コードと履歴書をAnthropicに提出するよう招待されています。

Sources