Anthropic에서 AI에 강한 기술 평가 설계하기

AI 능력이 향상됨에 따라 기술 후보자를 평가하는 것은 점점 더 어려워지고 있습니다. 오늘날 인간의 기술 수준을 구별하던 전통적인 과제는 내일이면 모델이 쉽게 풀 수 있기 때문입니다.

Anthropic은 AI 지원에 대해 견고함을 유지하기 위해 성능 엔지니어링 과제의 여러 버전을 반복적으로 개선해 왔으며, 궁극적으로 현실적이고 도메인 특화된 문제에서 고도로 제약된 새로운 퍼즐로 전환하여 인간 전문성의 측정 가능한 신호를 유지하고 있습니다.

AI에 강한 평가의 도전 과제

Anthropic의 새로운 규모에 엔지니어를 고용하는 데 사용된 초기 과제는 매우 예측력이 높았으며, 한 후보자가 다른 모든 후보자보다 훨씬 높은 점수를 받았습니다. 그러나 Claude 모델의 빠른 개선으로 인해 이 테스트는 곧 구식이 되었습니다.

• Claude Opus 4: 이 모델은 4시간 제한 시간 내에 대부분의 인간 지원자보다 뛰어난 성과를 보였지만, 가장 강력한 후보자를 구별할 수는 있었습니다.
• Claude Opus 4.5: 이 모델은 과제 제약 조건 하에서 최고의 인간 후보자와 동등한 성과를 보여, 최고의 인간과 가장 유능한 모델을 구별하는 능력을 제거했습니다.

이로 인해 Anthropic은 원래 설계를 포기하고 평가가 의미 있는 신호를 유지하도록 점점 더 비일상적인 방법을 추구하게 되었습니다.

원래 과제 설계 및 목표

2023년 11월, 원래 과제는 표준 인터뷰 프로세스의 한계를 해결하면서 성능 엔지니어링의 요구를 효율적으로 포착하도록 설계되었습니다.

설계 목표

테스트는 일반적인 문제를 피하면서 진정으로 흥미롭고 신호가 강하도록 구성되었습니다. 주요 설계 원칙은 다음과 같습니다:

• 더 긴 시간 범위: 4시간 창(나중에 2시간으로 줄어듦)은 성능 엔지니어링 작업이 단기 마감을 거의 갖지 않는다는 현실을 더 잘 반영합니다.
• 현실적인 환경: 후보자는 방해 없이 작업하여 실제 코딩 조건을 반영합니다.
• 이해 및 도구 구축 시간: 형식은 후보자가 기존 시스템을 이해하고 필요한 디버깅 도구를 구축할 시간을 허용합니다.
• AI 지원과의 호환성: 문제는 후보자가 (직장에서 그렇듯이) AI 도구를 사용할 수 있을 만큼 복잡하게 설계되었지만 여전히 독립적인 기술을 입증해야 합니다.

시뮬레이션된 머신

원래 문제의 핵심은 TPU를 닮은 가짜 가속기를 위한 Python 시뮬레이터였습니다. 후보자는 모든 명령어를 보여주는 Perfetto 트레이스를 사용하여 이 머신에서 실행되는 코드를 최적화했습니다.

시뮬레이션된 머신은 가속기 최적화에 중요한 기능을 통합했으며, 여기에는 다음이 포함됩니다:

• 수동으로 관리되는 스크래치패드 메모리.
• 효율적인 명령어 패킹이 필요한 VLIW(매우 긴 명령어 워드) 아키텍처.
• SIMD(단일 명령, 다중 데이터) 벡터 연산.
• 멀티코어 처리.

작업 자체는 병렬 트리 순회로, 의도적으로 딥러닝 특화가 아닌 것으로 선택되어 후보자가 직장에서 배울 수 있는 기본적인 성능 엔지니어링 기술을 입증할 수 있게 했습니다.

AI에 대응하기 위한 반복

Claude 모델이 원래 테스트를 무너뜨리면서 Anthropic은 평가의 엄격함을 유지하기 위해 두 가지 주요 재설계 시도를 추구했습니다.

시도 1: 더 어려운 최적화 문제(데이터 전치)

첫 번째 시도는 뱅크 충돌을 피하면서 2D TPU 레지스터에서 효율적인 데이터 전치에 기반한 문제였습니다. Claude Opus 4.5는 데이터뿐만 아니라 전체 계산을 전치할 수 있다는 것을 깨달아 인간 설계자가 예상하지 못한 고도로 효율적인 최적화를 빠르게 찾았습니다.

이 시도는 문제가 데이터 전치 및 뱅크 충돌과 같은 널리 문서화되고 Claude의 학습 데이터에 존재하는 개념에 의존하여 모델이 이전 경험의 큰 도구 상자를 활용할 수 있었기 때문에 실패했습니다.

시도 2: 제약된 퍼즐 (Zachtronics 스타일)

Claude의 방대한 경험 기반보다 인간 추론이 이기도록 강제하기 위해, 두 번째 시도는 Zachtronics 퍼즐 게임에서 영감을 받은 고도로 분포 외 문제에 초점을 맞췄습니다. 이 새로운 과제는 매우 작고 제약이 많은 명령어 세트를 사용하여 후보자가 최소 명령어 수를 위해 솔루션을 최적화하도록 요구했습니다.

• 설계: 퍼즐은 의도적으로 시각화나 디버깅 도구 없이 제공되어, 후보자가 자신의 도구를 구축하거나 print 문을 사용해야 했습니다.
• 결과: 초기 결과는 유망했으며, 점수는 과거 작업의 수준과 잘 상관관계를 보였고, 한 유능한 동료는 지금까지 테스트된 어떤 후보자보다 높은 점수를 받았습니다.

이 새로운 설계는 현실적인 작업을 시뮬레이션하는 것에서 새롭고 고도로 제약된 작업을 시뮬레이션하는 것으로 초점을 전환합니다.

성능 벤치마크 및 공개 도전 과제

Anthropic은 원래 과제를 공개 도전 과제로 공개하며, 충분히 긴 시간 범위에서는 인간 전문가가 현재 모델보다 여전히 우위를 점한다고 언급합니다.

다음 벤치마크는 시뮬레이션 머신의 클록 사이클로 측정되었으며, 인간과 AI 성능 간의 격차를 보여줍니다:

• 2164 사이클: 테스트 시간 컴퓨팅 하네스에서 여러 시간 후의 Claude Opus 4.
• 1790 사이클: 캐주얼 Claude Code 세션에서의 Claude Opus 4.5, 2시간 내 최고의 인간 성과와 거의 일치.
• 1579 사이클: 테스트 시간 컴퓨팅 하네스에서 2시간 후의 Claude Opus 4.5.
• 1548 사이클: 2시간 이상의 테스트 시간 컴퓨팅 후 Claude Sonnet 4.5.
• 1487 사이클: 하네스에서 11.5시간 후의 Claude Opus 4.5.
• 1363 사이클: 개선된 테스트 시간 컴퓨팅 하네스에서 많은 시간 후의 Claude Opus 4.5.

1487 사이클 미만으로 최적화하여 출시 시점의 Claude 최고 성능을 능가하는 개인은 코드와 이력서를 Anthropic에 제출하도록 초대됩니다.

SUMMARY: Anthropic은 기술 과제 평가의 진화를 자세히 설명하며, 점점 더 강력해지는 Claude 모델이 최고의 인간 엔지니어를 구별하는 신호를 유지하기 위해 과감한 재설계를 필요로 했음을 보여줍니다.

TITLE: Anthropic에서 AI에 강한 기술 평가 설계하기