ゾンビ統計：AIが引用する数字の出所

AI統計における信頼性のギャップ

AIアシスタントは、根拠に乏しい数値の回答を自信満々に提示することが多く、検証されていない主張を繰り返す二次情報源を引用することがよくあります。Trakkr Researchによる200の一般的な質問を対象とした調査では、引用された統計のうち、元の研究にたどり着けたのはわずか40%であり、11%は情報源が全く存在せず、40%はリンク切れやアクセス不能なページで終わっていることが判明しました。

ゾンビ統計の解剖

「ゾンビ統計」とは、検証可能な研究の裏付けがないにもかかわらず、デジタルエコシステム内で生き残り続ける数値のことです。ある記録された事例では、「営業担当者の44%が1回のフォローアップで諦める」という主張がAIモデルによって広く引用されています。この数字を追跡すると、ブログ記事やフリーランスのライターによる記事が互いに参照し合っているだけで、実際の研究を指し示していないことが明らかになります。AIモデルがウェブ上の未検証情報を集約して繰り返すこの「引用生成（citogenesis）」のサイクルは、根拠となるデータが存在しない場合でも、誤った合意形成を生み出します。

AIモデルごとのパフォーマンス

主要なAIアシスタントはすべて情報源の検証に苦労していますが、引用の傾向は異なります。ChatGPTは57%という最も高い引用率を示しましたが、Claude、Gemini、Google AI Overviewsは38%から46%の範囲でした。注目すべきは、引用頻度が高いことが精度の高さと相関しているわけではないという点です。モデルは一次研究よりも、企業のブログ、ニュースのまとめ、統計アグリゲーターに依存することが多く、これが引用が提供されても元のデータにたどり着けないことが多い理由です。

なぜ数字が変化し、失敗するのか

追跡が成功して研究にたどり着いた場合でも、データが歪められていることがよくあります。追跡された統計の約17%は、インターネット上を流れる過程で文脈、年次、または範囲が変更されていました。例えば、2004年の「15人の女性が健康関連ウェブサイトを評価した」という研究が、最終的には「すべてのウェブサイトユーザーのデザインの好み」に関する一般的な主張へと変貌を遂げました。こうした変化は、情報が元の文脈から切り離され、マーケティング資料や二次レポートで再利用される際に発生します。

AI生成データに関するベストプラクティス

ユーザーは、AIが提供する統計を決定的な事実ではなく、手がかりとして扱うべきです。情報を検証するために、ユーザーは以下のことを行う必要があります。

• 追跡をたどる: 引用元をクリックして、一次情報源に到達するまで確認してください。リンク先がリスト記事や企業のブログである場合は、元の研究論文や政府の報告書をさらに検索してください。
• 文脈を検証する: サンプルサイズ、対象者、研究年を確認してください。数字の妥当性は、その背後にある手法によってのみ決まります。
• 合意を無視する: 複数のAIモデルが同じ数値を提供しているからといって、その統計が正確であると想定しないでください。モデルは同じトレーニングデータや一般的なウェブのバイアスを共有していることが多いためです。

コミュニティの視点

これらの調査結果をめぐる議論は、デューデリジェンス（適正評価）をAIに依存することへのより広範な懸念を浮き彫りにしています。批評家は、AIが生成するチャートや自信に満ちた引用付きの回答が持つ「魅力的な」性質が、ユーザー自身の検証を妨げる可能性があると指摘しています。一部の観察者は、この問題はAI特有のものではなく、人間が作成したコンテンツも長年「作り話」の統計を拡散してきたと指摘していますが、AIは未検証の主張に権威のベールを被せることで、このプロセスを加速させています。あるコメント投稿者が指摘したように、「引用はAIがどこでその数字を見つけたかを教えてくれるものであり、その数字がどこから来たのかを教えてくれるものではない」のです。