Anthropic Claude 3.5 Sonnet 및 Claude 3.5 Haiku 출시

Anthropic은 Claude 3.5 Sonnet의 업그레이드 버전과 새로운 모델인 Claude 3.5 Haiku를 출시하는 동시에, "computer use"라고 불리는 새로운 기능의 퍼블릭 베타를 시작했습니다. 이 업데이트를 통해 AI 모델은 커서를 움직이고, 버튼을 클릭하고, 텍스트를 입력하는 등 마치 인간 사용자처럼 컴퓨터 인터페이스와 상호작용할 수 있습니다.

Computer Use: 퍼블릭 베타 단계의 일반적인 컴퓨터 상호작용

Claude 3.5 Sonnet은 "computer use"의 퍼블릭 베타를 제공하는 최초의 프런티어 AI 모델로, 고수준의 지침을 일련의 컴퓨터 명령으로 변환하여 소프트웨어와 웹을 탐색할 수 있게 합니다. 특정 작업에 개별적인 도구를 사용하는 대신, 이 기능은 일반적인 컴퓨터 기술에 초점을 맞춥니다.

기술적 구현 및 성능

개발자는 Claude가 컴퓨터 인터페이스를 인식하고 상호작용할 수 있도록 하는 API를 통합할 수 있습니다. 인간처럼 컴퓨터를 사용하는 능력을 측정하는 OSWorld 평가에서, Claude 3.5 Sonnet은 스크린샷 전용 카테고리에서 14.9%의 점수를 기록하여, 차점 AI 시스템의 점수인 7.8%를 능가했습니다. 작업을 완료하기 위해 더 많은 단계가 허용될 경우, 점수는 22.0%까지 증가했습니다.

현재의 한계 및 안전성

Anthropic은 이 기능을 실험적인 것으로 설명하며, 다소 번거롭고 오류가 발생하기 쉬울 수 있다고 언급했습니다. 스크롤, 드래그, 확대/축소와 같은 일반적인 인간의 동작은 모델에게 여전히 어려운 과제입니다. 스팸, 허위 정보, 사기 관련 리스크를 완화하기 위해, Anthropic은 computer use 기능이 활성화되었는지와 해로운 동작이 발생하는지 식별하기 위한 새로운 분류기(classifier)를 개발했습니다.

업그레이드된 Claude 3.5 Sonnet: 고급 소프트웨어 엔지니어링

업데이트된 Claude 3.5 Sonnet은 이전 모델보다 전반적으로 개선되었으며, 동일한 가격과 속도를 유지하면서 에이전트 방식의 코딩 및 도구 사용 능력을 크게 향상시켰습니다.

코딩 및 도구 사용 벤치마크

SWE-bench Verified: 성능이 33.4%에서 49.0%로 증가하여, OpenAI o1-preview와 같은 추론 모델을 포함한 모든 공개된 모델을 능가했습니다.
TAU-bench: 소매 분야에서는 성능이 62.6%에서 69.2%로 개선되었고, 항공 분야에서는 36.0%에서 46.0%로 개선되었습니다.

산업계 도입

GitLab, Cognition, The Browser Company와 같은 기업들이 상당한 이득을 보고 있다고 보고했습니다. GitLab은 추가적인 지연 시간 없이 더 강력한 추론 능력을(사용 사례 전반에 걸쳐 최대 10%) 확보했다고 언급했으며, Cognition은 코딩, 계획, 문제 해결 능력의 향상을 관찰했습니다.

Claude 3.5 Haiku: 속도와 경제성

Claude 3.5 Haiku는 Anthropic의 차세대 가장 빠른 모델로, 낮은 지연 시간과 높은 효율성을 위해 설계되었습니다. 많은 지능 벤치마크에서 이전 세대의 가장 큰 모델인 Claude 3 Opus의 성능을 능가하거나 대등하게 유지하면서, 기존 Claude 3 Haiku와 유사한 속도를 유지합니다.

성능 및 사용 사례

Claude 3.5 Haiku는 SWE-bench Verified에서 40.6%를 기록하여, 기존 Claude 3.5 Sonnet 및 GPT-4o를 능가했습니다. 낮은 지연 시간과 개선된 지침 준수 능력 덕분에, 사용자 대상 제품, 전문화된 서브 에이전트 작업, 또는 재고나 가격 기록과 같은 대량의 데이터를 처리하는 데 최적화되어 있습니다.

가격 및 가용성

2024년 12월 3일 기준, Claude 3.5 Haiku는 입력 토큰 100만 개당 $0.80, 출력 토큰 100만 개당 $4.00로 책정되었습니다. 이 모델은 Anthropic API, Amazon Bedrock, Google Cloud의 Vertex AI를 통해 이용 가능하며, 초기에는 텍스트 전용 모델로 제공되며 이미지 입력 지원이 추후 제공될 예정입니다.