Anthropic Economic Index: Claude 3.7 Sonnet의 통찰

Anthropic은 100만 건의 익명화된 대화를 통해 Claude 3.7 Sonnet의 사용 패턴을 분석한 Anthropic Economic Index의 두 번째 연구 보고서를 발표했습니다. 연구 결과에 따르면 코딩, 교육, 과학 분야에서 AI 도입이 완만하게 증가했으며, 증강(augmentative)과 자동화(automative) 사용 사이의 균형은 안정적으로 유지되고 있습니다.

직업별 사용 패턴의 변화

Claude 3.7 Sonnet 출시 이후, 여러 직업군 내에서의 사용 비중이 측정 가능한 수준으로 증가했습니다. 컴퓨터 및 수학 관련 직업군에서 가장 큰 절대적 증가(+3%)를 보였으며, 교육 및 과학 분야에서도 주목할 만한 백분율 증가가 나타났습니다.

Anthropic은 코딩 사용량의 증가를 모델의 개선된 벤치마크 점수 덕분으로 돌리고 있으며, 다른 분야의 성장은 AI의 광범위한 확산, 코딩의 새로운 도메인 적용, 또는 모델의 전반적인 능력 향상에서 기인할 수 있다고 보고 있습니다.

확장된 사고(Extended Thinking) 모드 사용

Claude 3.7 Sonnet의 "extended thinking" 모드는 주로 기술적 및 창의적 문제 해결을 위해 활용됩니다. 데이터에 따르면, 이 모드의 가장 높은 사용률은 다음 분야에서 발견됩니다:

  • Computer and Information Research Scientists: ~10% 사용
  • Software Developers: ~8% 사용
  • Multimedia Artists: ~7% 사용
  • Video Game Designers: ~6% 사용

증강 vs 자동화

증강(Augmentation)은 사용자가 AI와 상호작용하는 주요 방식으로 계속 유지되고 있으며, 전체 사용량의 57%를 차지합니다. 증강과 자동화 사이의 전반적인 균형은 변하지 않았지만, 사용자가 정보를 찾거나 설명을 요구하는 "학습(learning)" 상호작용의 비중은 약 23%에서 28%로 증가했습니다.

직업별 상호작용 패턴

직업의 성격에 따라 서로 다른 직업군은 뚜렷한 상호작용 스타일을 보여줍니다:

  • High Augmentation: 커뮤니티 및 사회 서비스 작업(교육 및 상담 포함)은 약 75%에 달하는 가장 높은 증강률을 보입니다.
  • Task Iteration: 카피라이터와 편집자는 인간과 모델이 콘텐츠를 공동 작성하는 작업 반복(task iteration) 비중이 가장 높습니다(약 ~58%로 선두).
  • Directive Behavior: 번역가와 통역사는 모델이 인간의 개입을 최소화하여 작업을 완료하는 지시적 행동(directive behavior) 수준이 가장 높게 나타납니다.
  • Learning: 사서(Librarians)는 약 56%의 비율로 가장 높은 학습 상호작용 비중을 보합니다.

Anthropic은 O*NET 설명이 실제 사용 사례와 완벽하게 일치하지 않을 수 있다고 언급했습니다. 예를 들어, "fine artists"에 할당된 사용량은 전통적인 조각이나 회화보다는 디지털 아트일 가능성이 높습니다.

상향식 사용 분류 체계(Bottom-Up Usage Taxonomy)

미국 노동부의 O*NET 데이터베이스에 포함되지 않는 사용 사례를 포착하기 위해, Anthropic은 630개의 세밀한 클러스터로 구성된 상향식 분류 체계를 도입했습니다. 이 데이터셋은 Claude.ai의 구체적이고 틈새적인(niche) 애플리케이션을 식별합니다:

  • 배터리 기술 및 충전 시스템에 대한 가이드.
  • 물리 기반 시뮬레이션의 대화형 시각화 생성.
  • 코드 및 데이터베이스에서의 시간대(time zone) 처리 지원.
  • 수자원 관리 시스템 및 인프라 프로젝트 지원.
  • 글꼴(font) 선택, 구현 및 문제 해결.

방법론 및 데이터 가용성

Anthropic은 대화를 O*NET 작업으로 매핑하기 위해 개인정보 보호 분석 도구인 Clio를 사용했습니다. 이번 두 번째 보고서에서는 분류를 위해 Claude 3.5 Sonnet 대신 Claude 3.7 Sonnet을 사용하여, 내부 벤치마크에 따라 정확도를 향상시켰습니다. 분석 과정에서 안전 분류기에 의해 플래그가 지정된 대화는 제외되었으나, 더 포괄적인 상향식 분류 체계를 구축하기 위해 직업적 관련성에 따른 필터링은 수행하지 않았습니다.

O*NET 작업-사고 모드 매핑 및 상향식 분류 체계를 포함한 이러한 분석 데이터셋은 Hugging Face에서 자유롭게 이용할 수 있습니다.

Sources