Anthropic Economic Index: Insights from Claude 3.7 Sonnet

Anthropic 发布了其 Anthropic Economic Index 下的第二份研究报告，通过对 100 万场匿名对话进行分析，研究了 Claude 3.7 Sonnet 的使用模式。研究结果表明，AI 在编程、教育和科学领域的采用率有所适度增加，而增强型（augmentative）与自动化型（automative）使用之间的平衡保持稳定。

Shift in Occupational Usage Patterns

自 Claude 3.7 Sonnet 发布以来，多个职业类别中的使用份额出现了可衡量的增长。计算机和数学相关职业看到了最大的绝对增长（+3%），同时在教育和科学领域也出现了显著的百分比增长。

Anthropic 将编程使用的增加归功于模型基准测试得分的提高，而其他领域的增长可能源于 AI 的广泛普及、编程应用向新领域的扩散，或模型通用能力的提升。

Usage of Extended Thinking Mode

Claude 3.7 Sonnet 的 "extended thinking" 模式主要用于技术和创意问题的解决。根据数据，该模式的使用率最高出现在以下人群中：

  • Computer and Information Research Scientists: ~10% usage
  • Software Developers: ~8% usage
  • Multimedia Artists: ~7% usage
  • Video Game Designers: ~6% usage

Augmentation vs. Automation

增强型（Augmentation）仍然是用户与 AI 交互的主要方式，占总使用量的 57%。虽然增强型与自动化型之间的整体平衡没有变化，但“学习型”（learning）交互——即用户寻求信息或解释——的比例从大约 23% 上升到了 28%。

Interaction Patterns by Occupation

不同的职业根据其任务性质表现出不同的交互风格：

  • High Augmentation: Community and Social Service 任务（包括教育和指导咨询）显示出最高的增强型比例，接近 75%。
  • Task Iteration: Copywriters 和 editors 显示出最高比例的任务迭代，即人类与模型共同编写内容（比例最高，约为 ~58%）。
  • Directive Behavior: Translators 和 interpreters 显示出最高水平的指令型行为，即模型在极少的人类参与下完成任务。
  • Learning: Librarians 显示出最高的学习型交互比例，约为 56%。

Anthropic 指出，O*NET 描述可能无法与实际使用情况完美对齐；例如，归属于 "fine artists" 的使用可能指的是数字艺术而非传统雕塑或绘画。

Bottom-Up Usage Taxonomy

为了捕捉落在 US Department of Labor 的 O*NET 数据库之外的使用案例，Anthropic 引入了一种由 630 个细粒度集群组成的自下而上的分类法（bottom-up taxonomy）。该数据集识别了 Claude.ai 的特定、小众应用，包括：

  • 关于电池技术和充电系统的指导。
  • 创建具有交互式可视化的基于物理的模拟。
  • 在代码和数据库中处理时区问题的帮助。
  • 对水管理系统和基础设施项目的支持。
  • 字体选择、实现和故障排除。

Methodology and Data Availability

Anthropic 使用其隐私保护分析工具 Clio 映射对话到 O*NET 任务。在第二份报告中，该实验室将用于分类的 Claude 3.5 Sonnet 替换为 Claude 3.7 Sonnet，根据内部基准测试，这提高了分类的准确性。分析过程过滤掉了被安全分类器标记的对话，但没有根据职业相关性进行过滤，以确保获得更更全面的自下而上的分类法。

这些分析的数据集，包括 O*NET 任务到 thinking-mode 的映射以及自下而上的分类法，均可在 Hugging Face 上免费获取。

Sources