Anthropic Economic Index: Insights from Claude 3.7 Sonnet

Anthropic은 Claude 3.7 Sonnet 출시 이후 100만 개의 익명화된 Claude.ai 대화 내용을 분석한 Anthropic Economic Index의 두 번째 연구 보고서를 발표했습니다. 조사 결과, 코딩, 교육 및 과학 분야의 사용 비중이 소폭 증가한 반면, AI 증강(augmentation)과 자동화(automation) 사이의 전반적인 균형은 안정적으로 유지되고 있습니다.

Shift in Occupational Usage Patterns

Claude 3.7 Sonnet 도입 이후, 특정 직업군 내에서의 사용 비중이 측정 가능한 수준으로 증가했습니다. 가장 큰 절대적 증가는 컴퓨터 및 수학 관련 직업군(+3%)에서 나타났으며, 교육 및 과학 분야에서도 주목할 만한 백분율 증가가 관찰되었습니다.

Anthropic은 이러한 변화의 원인으로 세 가지 잠재적 요인을 꼽았습니다:

Claude 3.7 Sonnet의 향상된 코딩 벤치마크.
경제 전반에 걸친 AI의 지속적인 확산.
코딩 역량을 비코딩 영역에 적용하거나 일반 모델 역량의 예상치 못한 향상.

Usage of Extended Thinking Mode

Claude 3.7 Sonnet의 "extended thinking" 모드는 주로 기술적이고 창의적인 문제 해결에 활용됩니다. 데이터 분석 결과, 특정 고숙련 역할과 관련된 작업들이 이 기능의 도입을 주도하고 있는 것으로 나타났습니다:

Computer and Information Research Scientists: ~10% usage
Software Developers: ~8% usage
Multimedia Artists: ~7% usage
Video Game Designers: ~6% usage

Augmentation vs. Automation Trends

AI 사용은 여전히 증강(augmentative) 목적이 지배적이며, 전체 사용량의 57%를 차지합니다. 전체 비율은 일정하게 유지되었지만, 상호작용의 내부 구성은 변화했습니다. 특히 사용자가 정보를 찾거나 설명을 요구하는 "learning" 상호작용이 약 23%에서 28%로 증가했습니다.

Variation by Occupation

증강과 자동화 사이의 균형은 직업군에 따라 크게 다릅니다:

Highly Augmentative: Community and Social Service tasks (교육 및 상담 포함)는 증강 비중이 75%에 육박합니다.
Balanced: Production 및 computer/mathematical 직업군은 증강과 자동화가 거의 50:50으로 나뉩니다.

Interaction Mode Examples

특정 직업군은 작업의 성격에 따라 뚜렷한 다른 상호작용 패턴을을 보여줍니다:

Task Iteration: Copywriter와 editor는 인간과 모델이 콘텐츠를 공동 작성하는 작업 반복(task iteration) 수준이 가장 높게 나타났습니다.
Directive Behavior: Translator와 interpreter는 모델이 인간의 개입을 최소화하여 작업을 수행하는 지시적 행동(directive behavior) 수준이 가장 높게 나타났습니다.
Learning: Librarian은 학습(learning) 상호작용 비중이 약 56%로 가장 높았습니다.

Bottom-Up Usage Taxonomy

미국 노동부의 O*NET 데이터베이스에 포함되지 않는 사용 사례를 포착하기 위해, Anthropic은 630개의 세밀한 클러스터로 구성된 상향식 분류 체계(bottom-up taxonomy)를 도입했습니다. 이 데이터셋은 다음과 같은 Claude.ai의 구체적이고 틈새적인(niche) 활용 사례를 식별합니다:

대화형 시각화를 포함한 물리 기반 시뮬레이션 생성.
배터리 기술 및 충전 시스템에 대한 가이드 제공.
폰트 선택 및 구현 문제 해결.
코드 및 데이터베이스에서의 시간대(time zone) 로직 처리.
수자원 관리 시스템 및 인프라 프로젝트 지원.

Methodology and Data Availability

Anthropic은 대화를 O*NET 작업으로 매핑하기 위해 개인정보 보호 분석 도구인 Clio를 사용했습니다. 이번 보고서에서는 Clio가 Claude 3.7 Sonnet에 의해 구동되었으며, Anthropic은 이를 통해 이전 버전보다 분류 정확도가 향상되었다고 언급했습니다. 분석 과정에서 안전 분류기(safety classifiers)에 의해 플래그가 지정된 대화는 제외되었으나, 상향식 분류 체계의 데이터를 보전하기 위해 직업적 관련성에 따른 필터링은 수행하지 않았습니다.

O*NET 작업-사고 모드 매핑 및 상향식 분류 체계를 포함하여, 이번 분석에 사용된 모든 데이터셋은 Hugging Face에서 자유롭게 다운로드할 수 있습니다.