AnthropicによるClaude使用データの独立研究パイロットプログラム

Anthropicは、外部の研究者が実際のClaude使用データを対象に独立した研究を行えるようにするパイロットプログラムを開始しました。プライバシーを保護する分析ツールであるAnthropic Insightsを提供することで、ラボは、内部のレポートや偏った公開データセットを超えて、AIが社会にどのような影響を与えるかについての理解を分散化することを目指しています。

外部研究グループによる主な知見

3つの研究機関が、2026年4月から5月にかけての約250,000件のClaude.aiおよびClaude Codeの会話を分析しました。研究者は独立して活動し、Anthropicによるレビュー権限は、プライバシー、利用規約違反、および事実の正確性に限定されていました。

人間とAIの協働 (Stanford SALT Lab)

スタンフォード大学のSocial and Language Technologies (SALT) Labは、人間がどのようにAIと協働するかを調査し、ユーザーが重要な業務をAIに委ねることが多いことを発見しました。

重大なタスクの委任: AIが主に責任の低いタスクに使用されるという以前の研究とは対照的に、分析された会話の半分以上が、取り消しが困難であったり他者に影響を与えたりする「重大なタスク」に関連していました。これは、専門的なガイダンス、特に法律や財務に関する問い合わせにおいて最も顕著でした。
人間の監視: 会話の約75%において、人間が方向性を維持し、監視を行っていました。通常、AIの出力をそのまま使うのではなく、出力を調整して使用していました。
生産的な摩擦: リクエストを繰り返し、意図を明確にするために必要な労力は、しばしばより良い最終結果につながりました。これは、協働プロセスにおける摩擦が生産的になり得ることを示唆しています。

ユーザーの感情とAIの挙動 (University of Oxford)

オックスフォード大学のHuman Information Processing Labは、ユーザーの感情とモデルの挙動の相関関係を調査しました。

行動の相関: ユーザーのポジティブな感情はモデルの「温かい」挙動と相関し、モデルの拒否や意見の相違はユーザーの反発と相関していました。「風変わりな」モデルの挙動は、ユーザーからのより高いレベルの知的関与に関連していました。
デジタル活動の類似性: Claudeの会話で見られた没頭、フラストレーション、楽しさのパターンは、一般的なインターネット閲覧の研究で見られるパターンと密接に一致していました。

コーディングの生産性 (METR)

METRは、Claude Codeの会話を分析して、モデルの世代間で実際の生産性向上の度合いを推定しました。

モデルの能力と速度: 予備的な知見によれば、新しいモデルの世代は、古いバージョンと比較して大幅な速度向上を実現しています。
時間の推定精度: この研究では、ClaudeがAIなしで行った場合にタスクにかかる時間を内部的に推定した値が、以前の研究による開発者の実際の完了時間と合理的に一致していることが分かりました。

技術的な実装: Anthropic Insights

ユーザーのプライバシーを保護するため、研究者は生の会話データにアクセスすることはできませんでした。その代わりに、研究者はモデルに対して質問を投げかけることができるツールであるAnthropic Insightsを使用しました。このツールは、会話をカテゴリ化し、集計されたパーセンテージを提供します。

外部へのスケールにおける課題

Anthropicは、内部研究から外部研究へと移行する際に、いくつかの運用上の障壁を特定しました。

プロンプトの感度: 研究者が生のデータを見ることができないため、、プロンプトの表現が不適切な場合に誤解を招くカテゴリに分類される可能性があることを容易に特定できません。これを軽減するために、研究者は公開されているWildChatデータセットで質問をテストしましたが、Anthropicは、WildChatのカジュアルな性質が必ずしも実際のClaudeのトラフィックを完全に反映しているわけではないと指摘しています。
リソースの集約性: 共有されるすべてのデータセットに対して繰り返しプライバシーレビューを行う必要があったため、パイロットプログラムは標準的な内部研究サイクルよりも時間がかかり、より多くのリソースを必要としました。
ポリシーの適用: ツールが利用規約（Acceptable Use Policy）への違反（例：ユーザーが禁止されたガイダンスを求めている場合）を検出した場合、Anthropicは集計データをそのセーフガードチームと共有しました。5%未満のケースにおいて、Anthropicは、ユーザーがセーフガードをどのように回避したかを説明する特定のカテゴリを削除しました。これは、さらなる悪用を防ぐためです。

将来の展望とデータの可用性

Anthropicは、これら3つのプロジェクトの集計データをHugging Face上で公開しました。ラボは現在、厳格なプライバシーと安全基準を維持しながら、、プログラムをより多くの研究者に拡大するための方法を検討しています。将来の研究のためにAnthropic Insightsへのアクセスを希望する研究者は、関心表明フォームを利用できます。