Anthropic 教育报告:大学生如何使用 Claude——关键发现

Anthropic 发布了一份教育报告,分析了 Claude.ai 上约一百万次匿名的学生对话,这是首批大规模研究学生在真实学术环境中(而非调查或受控实验中)实际如何使用 AI 的研究之一。主要结论是:STEM 学生,尤其是计算机科学专业的学生,是最早且最重度采用者,而学生最常将高阶认知工作——创造和分析——委托给模型。

这份报告为何重要

此前关于 AI 在教育中的讨论大多依赖调查和受控实验,而非直接证据来了解学生如何自然地将 AI 融入学术工作。Anthropic 将其教育报告定位为通过大规模研究真实使用情况来填补这一空白。

“AI 系统不再只是专业研究工具:它们是日常的学术伙伴。”

报告声明的目的是,随着 AI 更深入地嵌入教育环境,为关于学习、评估和技能发展的问题提供信息。

方法论:Clio 与数据集

该研究使用了 Claude Insights and Observations(“Clio”),这是 Anthropic 的自动化分析工具,用于提供人们如何使用 Claude 的见解。Clio 采用自下而上的方式,将用户对话提炼为高级使用摘要,例如“排查代码问题”或“解释经济概念”。

Clio 使用多层自动化流程,从对话中移除私人用户信息。Anthropic 表示,该流程旨在最小化层与层之间传递的信息,并在早前的一篇博客文章中描述了 Clio 的隐私优先设计。

分析流程如下:

  1. 约一百万次来自与高等教育邮箱关联的 Claude.ai Free 和 Pro 账户的匿名对话。
  2. 筛选与学生和学术相关性相关的内容——例如,对话是否涉及课程作业或学术研究——最终得到 574,740 次对话。
  3. 通过 Clio 进行分组,以获取关于学科代表性、学生与 AI 互动风格以及委托认知任务的聚合教育相关见解。

学生使用 Claude 做什么

学生主要使用 Claude 来创建和改进跨学科的教育内容(占对话的 39.3%)——设计练习题、编辑论文或总结学术材料。第二大类别是学术作业的技术解释或解决方案(33.5%),包括调试和修复编码作业中的错误、实现编程算法和数据结构,以及解释或解决数学问题。

其余使用情况细分如下:

使用场景 对话占比
创建和改进教育内容 39.3%
作业的技术解释或解决方案 33.5%
分析和可视化数据 11.0%
支持研究设计和工具开发 6.5%
创建技术图表 3.2%
跨语言翻译或校对内容 2.4%

Anthropic 指出,其中一些使用可能也涉及作弊,报告对此进行了单独讨论。

学科层面的采用:计算机科学占主导

STEM 学生是 Claude 等 AI 工具的早期采用者。计算机科学专业的学生尤其占比过高:根据报告的关键发现,他们占学生对话的 36.8%,而仅占美国学位的 5.4%。在学科层面分析部分,报告指出计算机科学占 Claude.ai 对话的 38.6%。

为了衡量不成比例的使用情况,Anthropic 将 Claude.ai 的使用模式与美国学士学位授予数量进行了比较,使用了国家教育统计中心(NCES)的学科领域。

学科领域 Claude.ai 对话占比 美国学士学位占比
计算机科学 38.6% 5.4%
自然科学与数学 15.2% 9.2%
商科 8.9% 18.6%
健康专业 5.5% 13.1%
人文学科 6.4% 12.5%

商科、健康和人文学科学生的采用率相对于其入学人数较低。Anthropic 认为,这些模式表明 STEM 学生,尤其是计算机科学专业的学生,可能更早采用 Claude 用于教育目的,而商科、健康和人文学科的学生可能更慢地将这些工具整合到其学术工作流程中。报告提供了两种可能的解释:计算机科学社区对 Claude 的认知度更高,以及 AI 系统在 STEM 学生执行的任务上比在其他学科学生执行的任务上表现更熟练。

学生与 AI 互动的四种模式

Anthropic 识别出四种不同的学生与 AI 互动模式,沿两个轴分类。第一个轴是互动模式:直接对话,用户希望尽快解决查询;协作对话,用户积极寻求与模型的对话。第二个轴是期望结果:问题解决,用户寻求解决方案或解释;输出创建,用户寻求生成较长的输出,如演示文稿或论文。

组合这些轴产生四种模式:

  • 直接问题解决
  • 直接输出创建
  • 协作问题解决
  • 协作输出创建

这四种互动风格的比例相似——每种占对话的 23% 到 29%——报告称这显示了学生对 AI 的多种用途。Anthropic 将此与传统网络搜索进行对比,后者通常只支持直接答案,并认为 AI 系统能够实现更多样化的互动,并随之带来新的教育机会。

报告中引用的积极学习示例包括:

  • 解释和澄清哲学概念和理论
  • 创建全面的化学教育资源和学习材料
  • 为学术作业解释肌肉解剖学、生理学和功能概念

作弊问题

Anthropic 直接指出,很难回答学生使用 AI 作弊的程度,因为每个 Claude 回应的具体教育背景未知。报告给出了成对示例来说明这种模糊性:直接问题解决对话可能是在家考试中作弊,也可能是学生在练习测试中检查答案;直接输出创建对话可能是从头创建论文,也可能是为额外研究创建知识摘要。协作对话是否构成作弊也可能取决于具体课程政策。

近一半(约 47%)的学生与 AI 对话是直接的——以最少的互动寻求答案或内容。Anthropic 指出,其中许多服务于合法的学习目的,例如提出概念性问题或生成学习指南,但报告也发现了一些令人担忧的直接对话示例:

  • 提供机器学习多项选择题的答案
  • 直接提供英语语言测试问题的答案
  • 重写营销和商业文本以避免抄袭检测

报告补充说,即使是协作对话也可能产生可疑的学习成果。它引用了“解决概率和统计作业问题并附解释”的示例,这可能涉及 AI 与学生之间的多轮对话,但仍将大量思考外包给 AI。

学科特定的互动模式

互动风格因学科而异,报告称这表明 AI 整合的教育方法可能受益于学科特定性。

  • 自然科学与数学的对话倾向于问题解决,例如“用逐步计算解决特定概率问题”和“用逐步解释解决学术作业或考试问题”。
  • 计算机科学、工程和自然科学与数学倾向于协作对话,而人文学科、商科和健康在协作和直接对话之间更均匀分布。
  • 教育显示出对输出创建的最强偏好,覆盖了 74.4% 的对话。教育占所有对话的 3.8%。Anthropic 警告说,这种使用可能源于其过滤方法的缺陷:其中许多对话涉及“创建全面的教学材料和教育资源”和“创建详细的教案”,表明教师也在使用 Claude 进行教育支持。

学生委托给 AI 的认知任务

Anthropic 改编了布鲁姆分类法——一种用于教育中从简单到复杂分类认知过程的层级框架——来分析 Claude 在与学生对话时的回应,而非学生自身的思考。

报告发现,AI 展示的布鲁姆分类法领域呈倒置模式:

布鲁姆分类法领域 操作占比
创造 39.8%
分析 30.2%
应用 10.9%
理解 10.0%
记忆 1.8%

这种分布因互动风格而异。输出创建任务,例如生成学术文本摘要或论文反馈,涉及更多创造功能。问题解决任务,例如解决微积分问题或解释编程基础,涉及更多分析功能。

Anthropic 指出,AI 系统展示这些技能并不排除学生也参与这些技能本身——例如,共同创建项目或在另一情境中使用 AI 生成的代码分析数据集。但报告称,这指向了学生将认知能力外包给 AI 的潜在担忧,包括合理的担忧,即 AI 系统可能提供一种拐杖,抑制了支持高阶思维所需的基础技能的发展。

“毕竟,倒置的金字塔可能会倒塌。”

研究的局限性

Anthropic 列出了影响发现范围的几个局限性:

  • 数据集可能捕捉了早期采用者,可能不代表更广泛的学生群体。
  • 尚不清楚 Claude 的使用相对于教育中整体 AI 使用的代表性如何;许多学生使用 Claude.ai 之外的 AI 工具,因此报告仅呈现了其整体 AI 参与模式的部分视图。
  • 对话分类中可能存在误报和漏报。分析依赖于与高等教育邮箱关联的账户,因此一些被分类为学生相关的对话可能实际上来自教职员工,而其他学生对话可能位于与非大学邮箱关联的账户上。
  • 由于隐私考虑,Anthropic 仅分析了单个 18 天保留窗口内的 Claude.ai 使用情况。学生的使用可能随其教育承诺的波动而在全年有所不同。
  • 该研究仅考察了学生委托给 AI 的任务,而非他们最终如何在学术工作中使用 AI 输出,或这些对话是否有效支持学习成果。
  • 将学生与 AI 对话分类为学科可能无法完全捕捉跨学科工作,其中 AI 使用模式可能显著不同。
  • 将布鲁姆分类法应用于 AI 的认知过程(而非学生)并不完美。像记忆这样的技能在 AI 系统背景下更难量化。

Anthropic 还指出,关于教育中 AI 使用的机构政策差异很大,可能以数据集中无法衡量的方式显著影响观察到的模式。

Anthropic 的教育方法及未来展望

Anthropic 将这份报告描述为对学生在哪里以及如何使用 AI 的鸟瞰图,并表示这只是理解 AI 对教育影响的开始。报告引用了 AI 赋能学习的示例,包括支持学生的核聚变反应堆项目,以及促进课堂上学生与教师之间更好的沟通。

同时,Anthropic 承认 AI 正以研究未完全捕捉的方式使教育工作者的生活更具挑战性。报告提出了开放性问题:如何确保学生仍然发展基础认知和元认知技能;如何在 AI 赋能的世界中重新定义评估和作弊政策;当 AI 系统能近乎即时生成润色论文或快速解决需要人类数小时的复杂问题时,有意义的学习是什么样子;以及随着模型能力增长,作业设计和评估方法是否会根本性转变。

在报告之外,Anthropic 表示正在与大学合作,以更好地理解 AI 在教育中的作用。作为早期步骤,该公司正在试验一种学习模式,强调苏格拉底式方法和概念理解而非直接答案,并计划与大学合作开展未来研究,并直接研究 AI 对学习的影响。

Sources