Anthropic教育レポート:大学生がClaudeをどのように使っているか — 主な調査結果

Anthropicは、Claude.ai上の約100万件の匿名化された学生の会話を分析した教育レポートを公開しました。これは、アンケートや管理された実験ではなく、実際の学術環境で学生がAIをどのように使用しているかを調査した初めての大規模研究の1つです。主な結果は、STEM学生、特にコンピュータサイエンスの学生が最も早く、最も多く採用しており、学生は高次の認知作業(作成と分析)をモデルに委任することが最も多いことを示しています。

このレポートが重要な理由

教育におけるAIに関するこれまでの議論のほとんどは、学生が学業にAIを自然に統合する方法の直接的な証拠ではなく、アンケートや管理された実験に依存してきました。Anthropicは、教育レポートを、実際の使用状況を大規模に研究することでそのギャップを埋めるものとして位置づけています。

「AIシステムはもはや専門的な研究ツールだけではなく、日常的な学術のパートナーです。」

このレポートの目的は、AIが教育環境に深く組み込まれるにつれて、学習、評価、スキル開発に関する疑問に情報を提供することです。

方法論:Clioとデータセット

この研究では、人々がClaudeをどのように使用しているかについての洞察を提供するAnthropicの自動分析ツールであるClaude Insights and Observations(「Clio」)を使用しました。Clioはボトムアップで動作し、ユーザーの会話を「コードのトラブルシューティング」や「経済概念の説明」などの高レベルの使用サマリーに蒸留します。

Clioは、会話から個人情報を除去する多層的な自動プロセスを使用しています。Anthropicは、このプロセスがレイヤー間で渡る情報を最小限に抑えるように構築されたと述べており、以前のブログ投稿でClioのプライバシー第一の設計について説明しています。

分析パイプラインは以下の通りです:

  1. 高等教育のメールアドレスに関連付けられたClaude.aiの無料およびProアカウントからの約100万件の匿名化された会話。
  2. 学生および学術的な関連性(例えば、会話がコースワークや学術研究に関連しているかどうか)でフィルタリングし、574,740件の会話が得られました。
  3. Clioによるグループ化で、科目の表現、学生とAIの相互作用スタイル、委任された認知タスクに関する集約された教育関連の洞察を導き出しました。

学生がClaudeを何に使っているか

学生は主に、分野を問わず教育コンテンツを作成および改善するためにClaudeを使用しています(会話の39.3%)— 練習問題の設計、エッセイの編集、学術資料の要約など。2番目に多いカテゴリは、学業課題の技術的な説明や解決策(33.5%)で、コーディング課題のデバッグやエラー修正、プログラミングアルゴリズムとデータ構造の実装、数学的問題の説明や解決が含まれます。

残りの使用状況は以下の通りです:

使用ケース 会話の割合
教育コンテンツの作成と改善 39.3%
課題の技術的な説明や解決策 33.5%
データの分析と可視化 11.0%
研究デザインとツール開発のサポート 6.5%
技術図の作成 3.2%
言語間の翻訳や校正 2.4%

Anthropicは、この使用の一部が不正行為に該当する可能性もあると指摘しており、レポートでは別途議論されています。

分野別の採用状況:コンピュータサイエンスが支配的

STEM学生は、ClaudeのようなAIツールの初期採用者です。特にコンピュータサイエンスの学生は過剰に代表されており、レポートの主な調査結果によると、学生の会話の36.8%を占める一方で、米国の学位のわずか5.4%しか占めていません。分野別分析セクションでは、コンピュータサイエンスがClaude.ai上の会話の38.6%を占めたと述べられています。

不均衡な使用を測定するために、AnthropicはClaude.aiの使用パターンを、全米教育統計センター(NCES)の科目分野を使用して、米国の学士号の数と比較しました。

科目分野 Claude.aiの会話の割合 米国の学士号の割合
コンピュータサイエンス 38.6% 5.4%
自然科学と数学 15.2% 9.2%
ビジネス 8.9% 18.6%
健康専門職 5.5% 13.1%
人文科学 6.4% 12.5%

ビジネス、健康、人文科学の学生は、在籍数に比べて採用率が低いです。Anthropicは、これらのパターンは、STEM学生、特にコンピュータサイエンスの学生が教育目的でClaudeを早期に採用している可能性がある一方で、ビジネス、健康、人文科学の学生はこれらのツールを学業ワークフローにゆっくり統合している可能性があることを示唆しています。レポートでは、コンピュータサイエンスコミュニティでのClaudeの認知度が高いことと、AIシステムがSTEM学生が行うタスクに対して他の分野の学生が行うタスクよりも高い熟達度を持っていることの2つの可能性のある説明を提供しています。

学生とAIの相互作用の4つのパターン

Anthropicは、2つの軸に沿って分類された、学生とAIの相互作用の4つの異なるパターンを特定しました。最初の軸は相互作用モードです:ユーザーができるだけ早くクエリを解決したい直接会話と、ユーザーがモデルとの対話を積極的に求める協力的会話。2番目の軸は望ましい結果です:ユーザーが解決策や説明を求める問題解決と、ユーザーがプレゼンテーションやエッセイなどの長い出力を生成しようとする出力作成。

軸を組み合わせると、4つのパターンが生成されます:

  • 直接問題解決
  • 直接出力作成
  • 協力的問題解決
  • 協力的出力作成

これらの4つの相互作用スタイルは、それぞれ会話の23%から29%の間で同様の割合で表されており、レポートは学生がAIに対して持つ使用の範囲を示していると述べています。Anthropicはこれを、通常は直接的な回答のみをサポートする従来のウェブ検索と対比し、AIシステムははるかに多様な相互作用とそれに伴う新しい教育機会を可能にすると主張しています。

レポートで引用されている肯定的な学習例には以下が含まれます:

  • 哲学的概念と理論の説明と明確化
  • 包括的な化学教育リソースと学習教材の作成
  • 学業課題のための筋肉の解剖学、生理学、機能の概念の説明

不正行為の問題

Anthropicは、各Claude応答の具体的な教育コンテキストが不明であるため、学生がAIを不正行為にどの程度使用しているかを答えるのは難しいと直接述べています。レポートでは、曖昧さを説明するためのペアの例を示しています:直接問題解決の会話は、持ち帰り試験での不正行為である可能性も、練習テストでの自分の作業を確認する学生である可能性もあります。直接出力作成の会話は、ゼロからエッセイを作成することも、追加研究のための知識の要約を作成することもできます。協力的な会話が不正行為に該当するかどうかは、特定のコースポリシーにも依存する可能性があります。

学生とAIの会話のほぼ半分(約47%)は直接的でした—最小限の関与で回答やコンテンツを求めていました。Anthropicは、これらの多くは概念的な質問をしたり、学習ガイドを生成したりするなど、正当な学習目的に役立つと指摘していますが、レポートでは懸念される直接的な会話の例も見つかりました:

  • 機械学習の多肢選択問題への回答を提供
  • 英語の語学テスト問題への直接回答を提供
  • 盗用検出を回避するためにマーケティングおよびビジネステキストを書き換える

レポートは、協力的な会話でさえ疑わしい学習成果をもたらす可能性があると付け加えています。「説明付きで確率と統計の宿題問題を解く」という例を挙げており、AIと学生の間で複数の会話ターンが含まれる可能性がありますが、それでもかなりの思考をAIに委任しています。

科目別の相互作用パターン

相互作用スタイルは分野によって異なり、レポートはAI統合への教育的アプローチは分野固有であることが有益である可能性を示唆しています。

  • 自然科学と数学の会話は、「ステップバイステップの計算で特定の確率問題を解く」や「ステップバイステップの説明で学業の宿題や試験問題を解く」など、問題解決に傾いていました。
  • コンピュータサイエンス、工学、自然科学と数学は協力的な会話に傾いていましたが、人文科学、ビジネス、健康は協力的と直接的な会話の間でより均等に分かれていました。
  • 教育は出力作成への最も強い好みを示し、会話の74.4%をカバーしました。教育は全会話の3.8%を占めました。Anthropicは、この使用はフィルタリング方法の不完全さに起因する可能性があると警告しています:これらの会話の多くは「包括的な教材と教育リソースの作成」や「詳細な授業計画の作成」を含み、教師も教育サポートのためにClaudeを使用していることを示しています。

学生がAIに委任する認知タスク

Anthropicは、教育で使用される階層的フレームワークであるブルームのタキソノミーを、学生自身の思考ではなく、学生と会話する際のClaudeの応答を分析するために適応させました。

レポートでは、AIによって示されるブルームのタキソノミードメインの逆転パターンが見つかりました:

ブルームのタキソノミードメイン 操作の割合
作成 39.8%
分析 30.2%
適用 10.9%
理解 10.0%
記憶 1.8%

この分布は相互作用スタイルによって異なりました。学術テキストの要約やエッセイへのフィードバックの生成などの出力作成タスクは、より多くの作成機能を含みました。微積分問題の解決やプログラミングの基礎の説明などの問題解決タスクは、より多くの分析機能を含みました。

Anthropicは、AIシステムがこれらのスキルを示すことは、学生が自分自身でこれらのスキルに従事することを妨げないと指摘しています—例えば、プロジェクトを共同作成したり、別のコンテキストでデータセットを分析するためにAI生成コードを使用したりすることです。しかし、レポートは、学生が認知能力をAIに外部委託することについての潜在的な懸念を指摘しており、AIシステムが高次の思考をサポートするために必要な基礎スキルの発達を阻害する「松葉杖」を提供する可能性があるという正当な懸念も含まれています。

「結局のところ、逆さまのピラミッドは倒れる可能性があります。」

研究の限界

Anthropicは、調査結果の範囲に影響を与えるいくつかの限界を挙げています:

  • データセットは初期採用者を捉えている可能性が高く、より広い学生人口を代表していない可能性があります。
  • Claudeの使用が教育における全体的なAI使用に対してどの程度代表的であるかは不明です。多くの学生がClaude.ai以外のAIツールを使用しているため、レポートは彼らの全体的なAI関与パターンの部分的なビューのみを提示しています。
  • 会話の分類には、偽陽性と偽陰性の両方がある可能性があります。分析は高等教育のメールアドレスに関連付けられたアカウントに依存していたため、学生関連として分類された一部の会話は実際にはスタッフや教員からのものである可能性があり、他の学生の会話は大学以外のメールアドレスに関連付けられたアカウントにある可能性があります。
  • プライバシー上の考慮事項により、Anthropicは単一の18日間の保持ウィンドウ内でのClaude.aiの使用のみを分析しました。学生の使用は、学業のコミットメントが変動するにつれて年間を通じて異なる可能性があります。
  • この研究は、学生がAIに委任するタスクのみを調査しており、学業でAI出力を最終的にどのように使用するか、またはこれらの会話が学習成果を効果的にサポートするかどうかは調査していません。
  • 学生とAIの会話を学術分野に分類することは、AI使用パターンが大幅に異なる可能性がある学際的な作業を完全に捉えていない可能性があります。
  • ブルームのタキソノミーを学生ではなくAIの認知プロセスに適用することは不完全です。記憶などのスキルは、AIシステムのコンテキストで定量化するのが難しいです。

Anthropicはまた、教育におけるAI使用に関する機関のポリシーは大きく異なり、データセット内で測定できない方法で観察されたパターンに大きな影響を与える可能性があると指摘しています。

Anthropicの教育へのアプローチと今後の展開

Anthropicは、このレポートを、学生が現実世界でAIをどこでどのように使用しているかの俯瞰図として説明し、教育へのAIの影響を理解し始めたばかりであると述べています。レポートでは、AIが学習を強化する例として、学生の核融合炉プロジェクトをサポートし、教室での学生と教師の間のより良いコミュニケーションを促進することを挙げています。

同時に、Anthropicは、AIが教育者の生活を研究が完全に捉えていない方法でより困難にしていることを認めています。レポートは未解決の質問を提起しています:学生が基礎的な認知およびメタ認知スキルを確実に開発する方法、AI対応世界で評価と不正行為ポリシーを再定義する方法、AIシステムが磨かれたエッセイをほぼ瞬時に生成したり、人が何時間もかかる複雑な問題を迅速に解決できる場合の意味のある学習とは何か、そしてモデルの能力が成長するにつれて宿題の設計と評価方法が根本的に変わるかどうか。

レポート以外にも、Anthropicは大学と提携して教育におけるAIの役割をよりよく理解していると述べています。初期のステップとして、同社は直接的な回答よりもソクラテス法と概念的理解を重視するラーニングモードを実験しており、将来の研究研究や学習に対するAIの影響を直接研究するために大学と協力する計画です。

Sources