Anthropic Economic Index: Claude 3.7 Sonnet からの洞察

Anthropic は、Anthropic Economic Index の第2弾となる調査レポートを公開しました。これは、100万件の匿名化された会話における Claude 3.7 Sonnet の利用パターンを分析したものです。調査結果は、コーディング、教育、および科学分野における AI 導入の緩やかな増加を示していますが、拡張（augmentative）と自動化（automative）の利用バランスは安定したままです。

職業別利用パターンの変化

Claude 3.7 Sonnet のリリース以来、いくつかの職業カテゴリーにおける利用シェアの測定可能な増加が見られました。コンピュータおよび数学関連の職業では、絶対的な増加が最大（+3%）となり、教育や科学分野でも顕著なパーセンテージの増加が見られました。

Anthropic は、コーディング利用の増加をモデルのベンチマークスコアの向上によるものとしており、その他の分野での成長は、AI の広範な普及、コーディングの新しい領域への適用、またはモデルの全般的な能力向上に起因している可能性があります。

拡張思考（Extended Thinking）モードの利用

Claude 3.7 Sonnet の「extended thinking」モードは、主に技術的および創造的な問題解決に利用されています。データによると、このモードの利用率が最も高いのは以下の通りです：

  • Computer and Information Research Scientists: ~10% の利用
  • Software Developers: ~8% の利用
  • Multimedia Artists: ~7% の利用
  • Video Game Designers: ~6% の利用

拡張（Augmentation） vs. 自動化（Automation）

拡張（Augmentation）は、引き続きユーザーが AI と対話する主要な方法であり、全利用の 57% を占めています。拡張と自動化の全体的なバランスは変わりませんが、「学習（learning）」インタラクション（ユーザーが情報や説明を求めるもの）の割合は、約 23% から 28% に上昇しました。

職業別インタラクション・パターン

異なる職業は、業務の性質に基づいて異なるインタラクション・スタイルを示しています：

  • High Augmentation: コミュニティおよび社会サービス業務（教育やガイダンスカウンセリングを含む）は、最も高い拡張率を示し、75% に迫っています。
  • Task Iteration: コピーライターやエディターは、人間とモデルがコンテンツを共同執筆する「タスクの反復（task iteration）」の割合が最も高く（約 58% でリード）、
  • Directive Behavior: 翻訳者や通訳者は、人間による関与を最小限に抑えてモデルがタスクを完了する「指示的行動（directive behavior）」のレベルが最も高い傾向にあります。
  • Learning: 司書は、学習インタラクションの割合が約 56% と最も高い数値を示しています。

Anthropic は、O*NET の記述が実際の利用状況と完全に一致しない場合があることを指摘しています。例えば、「fine artists（美術家）」に帰属する利用は、伝統的な彫刻や絵画ではなく、デジタルアートを指している可能性が高いです。

ボトムアップ型利用タクソノミー

米国労働省の O*NET データベースに該当しないユースケースを捉えるため、Anthropic は 630 個の粒度の細かいクラスターで構成されるボトムアップ型タクソノミーを導入しました。このデータセットは、Claude.ai の特定のニッチな用途を特定しています。例として以下が挙げられます：

  • バッテリー技術および充電システムのガイダンス。
  • インタラクティブな可視化を伴う物理ベースのシミュレーションの作成。
  • コードやデータベースにおけるタイムゾーン処理のヘルプ。
  • 水管理システムおよびインフラプロジェクトのサポート。
  • フォントの選択、実装、およびトラブルシューティング。

メソドロジーとデータの可用性

Anthropic は、プライバシー保護分析ツールである Clio を使用して、会話を O*NET のタスクにマッピングしました。今回の第2弾レポートでは、分類のために Claude 3.5 Sonnet を Claude 3.7 Sonnet に置き換えたことで、内部ベンチマークによれば精度が向上しました。

O*NET タスクと思考モードのマッピング、およびボトムアップ型タクソノミーを含む、これらの分析のデータセットは、Hugging Face で無料公開されています。

Sources