Anthropic Economic Index: Insights from Claude 3.7 Sonnet

Anthropic 發布了 Anthropic Economic Index 下的第二份研究報告，分析了 100 萬次匿名對話中 Claude 3.7 Sonnet 的使用模式。研究結果顯示，AI 在程式碼編寫、教育和科學領域的使用率略有增加，而增強型（augmentative）與自動化型（automative）使用之間的平衡保持穩定。

Shift in Occupational Usage Patterns

自 Claude 3.7 Sonnet 發布以來，幾個職業類別的使用比例出現了可衡量的增長。電腦與數學相關職業看到了最大的絕對增長（+3%），教育和科學領域也出現了顯著的百分比增長。

Anthropic 將程式碼編寫使用率的上升歸因於模型基準測試分數的提升，而其他領域的增長可能源於 AI 的廣泛普及、程式碼編寫應用於新領域，或模型通用能力的提升。

Usage of Extended Thinking Mode

Claude 3.7 Sonnet 的「extended thinking」模式主要用於技術和創意問題解決。根據數據，此模式的使用率最高者為：

  • Computer and Information Research Scientists: ~10% usage
  • Software Developers: ~8% usage
  • Multimedia Artists: ~7% usage
  • Video Game Designers: ~6% usage

Augmentation vs. Automation

增強型（Augmentation）仍然是使用者與 AI 互動的主要方式，佔總使用量的 57%。雖然增強型與自動化型之間的整體平衡沒有改變，但「學習」互動（使用者尋求資訊或解釋）的比例從約 23% 上升到 28%。

Interaction Patterns by Occupation

不同的職業根據其任務性質展現出不同的互動風格：

  • High Augmentation: Community and Social Service 任務（包括教育和輔導諮詢）顯示出最高的增強率，接近 75%。
  • Task Iteration: Copywriters 和 editors 顯示出最高比例的任務迭代，即人類與模型共同撰寫內容（比例最高，約 58%）。
  • Directive Behavior: Translators 和 interpreters 展現出一些最高的指令型行為，即模型在極少的人類參與下完成任務。
  • Learning: Librarians 顯示出最高的學習互動比例，約為 56%。

Anthropic 指出，O*NET 描述可能無法與實際使用情況完美契合；例如，歸屬於「fine artists」的使用可能指的是數位藝術而非傳統雕塑或繪畫。

Bottom-Up Usage Taxonomy

為了捕捉落在美國勞工部 O*NET 資料庫之外的使用案例，Anthropic 引入了一種由 630 個細粒度集群組成的由下而上（bottom-up）分類法。此數據集識別了 Claude.ai 的特定且小眾的應用，包括：

  • 電池技術與充電系統的指導。
  • 建立具有互動式視覺化的物理模擬。
  • 協助處理程式碼與資料庫中的時區問題。
  • 支援水資源管理系統與基礎設施專案。
  • 字體選擇、實作與疑難排解。

Methodology and Data Availability

Anthropic 使用其隱私保護分析工具 Clio el map 轉換對話至 O*NET 任務。在第二份報告中，實驗室將分類用的模型從 Claude 3.5 Sonnet 替換為 Claude 3.7 Sonnet，根據內部基準測試，這提升了準確度。

分析過程過濾掉了被安全分類器標記的對話，但並未根據職業相關性進行過濾，以確保更全面的由下而上分類法。

這些分析的數據集，包括 O*NET 任務與思考模式的映射關係，以及由下而上的分類法，皆可在 Hugging Face 上免費取得。

Sources