Mercor 벤치마크 맵: 미국 노동력의 90%가 AI 벤치마크의 사각지대에 놓여 있다

AI 벤치마크와 경제적 현실 사이의 간극

Mercor의 최근 분석에 따르면 미국 노동 시간의 90%가 현재 AI 벤치마크에서 거의 또는 전혀 다루지 않는 작업에 소비되고 있습니다. AI 역량 연구는 급증하고 있지만, 기존 벤치마크는 좁은 범위의 작업에만 불균형적으로 집중되어 있어, AI 자동화 맥락에서 미국 경제의 대다수 영역은 측정되지 않거나 제대로 이해되지 못하고 있습니다.

Mercor의 "벤치마크 맵(Benchmark Map)"은 923개의 O*NET 직업과 18,797개의 관련 작업을 29개의 선정된 벤치마크와 비교 분석했습니다. 연구 결과, 최소 5개 이상의 벤치마크 프롬프트로 작업이 다루어지는 직업은 208개에 불과했으며, 22개의 직업군 중 6개는 전혀 다루어지지 않는 것으로 나타났습니다. 이는 현재의 평가 방식이 미국 경제를 움직이는 실제 업무에서 AI 모델이 어떻게 작동하는지 평가할 준비가 되어 있지 않음을 시사합니다.

벤치마크가 좁은 영역에 집중하는 이유

벤치마크의 범위는 무작위로 분포된 것이 아니라, 고임금 및 AI 노출도가 높은 역할에 크게 치우쳐 있습니다. 데이터에 따르면 AI에 "노출"된 것으로 평가되는 O*NET 작업은 노출되지 않은 작업보다 벤치마크에 포함될 확률이 약 6배 더 높습니다. 또한 AI 노출도를 통제하더라도 총 임금 규모가 큰 직업과 관련된 작업이 상당히 과대 대표되는 경향이 있습니다.

이러한 집중 현상은 연구 자원을 합리적이지만 제한적으로 배분한 결과입니다. 개발자들은 가장 경제적으로 중요하고 기술적으로 실현 가능한 작업에서 AI의 진전을 측정하는 것을 우선시합니다. 그러나 이는 현재의 평가 제품군에서 대부분 제외된 중산층 지식 노동과 물리적 세계 작업의 '긴 꼬리(long tail)' 영역에 대한 '사각지대'를 만듭니다.

실제 성능 측정의 과제

AI 성능을 특정 직업에 매핑하려는 시도는 다음과 같은 중요한 방법론적 장애물에 직면해 있습니다:

• 통계적 검정력: 미국 경제의 광범위함으로 인해, 단일 O*NET 작업은 대응하는 벤치마크 항목이 매우 적은 경우가 많아 성능 추정치가 불안정합니다.
• 작업 충실도: 벤치마크는 난이도와 품질이 다양합니다. 일부는 포화 상태인 반면, 다른 일부는 정의가 모호하거나 보상 해킹(reward hacking)에 취약하여 직업에 대한 표준화된 "준비도" 점수를 만들기 어렵습니다.
• 자동화 대 증강: 현재 대부분의 벤치마크는 엔드투엔드 작업 자동화를 측정합니다. 실제로는 AI가 인간의 생산성을 증강하는 데 자주 사용됩니다. 이러한 인간 중심(human-in-the-loop) 역량을 측정하는 것은 여전히 어렵고 확장 불가능한 과제입니다.
• 물리적 제약: 미국 일자리의 약 63%는 디지털 우선 벤치마크에서 포착하기 어려운 물리적 세계 요소를 포함하고 있으며, 이는 로봇 공학 역량이 발전함에 따라 변화할 수 있습니다.

AI와 노동에 대한 커뮤니티의 시각

이러한 발견을 둘러싼 논의는 AI의 이론적 잠재력과 일상 업무의 현실 사이의 괴리를 강조합니다. 많은 관찰자들은 "지식 노동"이 회의, 이해관계자 관리, 오류 수정에 많은 시간을 할애하며, 이러한 작업은 표준 벤치마크에서 거의 포착되지 않는다고 지적합니다.

이 연구에 대한 댓글 작성자들은 몇 가지 중요한 점을 제기했습니다:

"여기서 '잘 다루어진다'는 표현이 '어쨌든 다루어진다'는 의미로 쓰인 것 같습니다. 사회복지사가 수행하는 업무의 스펙트럼이... 13개의 프롬프트로 잘 표현될 수 없다는 것은 자명합니다." — @handle

"AI는 당신을 대신해 생각할 수 없고 생각하지도 않으며, 더 나쁘게는 당신이 최선의 생각을 할 수 있는 환경조차 앗아갑니다..." — @handle

"우리가 많은 벤치마크를 발표한 것은 사실이지만, 그것들은 부가가치가 가장 낮은 작업들을 다루는 경향이 있습니다. 이런 종류의 솔루션을 내놓을 때 맥나마라 오류(McNamara fallacy)에 빠지기 매우 쉽습니다." — @handle

다른 이들은 고임금 일자리 자동화에 집중하는 것이 AI가 가장 큰 사회적 가치를 제공하는 곳을 반영하기보다는 기업 비용을 절감하려는 의도적인 노력일 수 있다고 지적했습니다. 비평가들 사이의 공통된 의견은 벤치마크가 특정 모델 역량에 대한 유용한 스냅샷을 제공하지만, 현재로서는 더 넓은 노동 시장에 미치는 AI의 전반적인 영향을 측정하는 지표로는 부족하다는 것입니다.