僵尸数据:AI 引用的数字从何而来

AI 统计数据中的可靠性差距

AI 助手经常提供自信的数字答案,但这些答案缺乏实证基础,通常引用的是重复未经证实声明的二手来源。Trakkr Research 对 200 个常见问题进行的一项研究发现,只有 40% 的引用统计数据能追溯到原始研究,11% 的数据根本没有来源,而 40% 的数据最终指向死链或无法访问的页面。

僵尸数据的剖析

“僵尸数据”是指那些在数字生态系统中持续存在,却没有任何可验证研究支持的数字。在一个有据可查的案例中,AI 模型广泛引用了“44% 的销售人员在一次跟进后就放弃了”这一说法。追踪这个数字会发现,它源于一系列相互引用的博客文章和自由撰稿文章,但从未指向任何实际的研究。这种“引文生成”(citogenesis)循环——即 AI 模型聚合并重复网络上未经证实的信息——即使在底层数据不存在的情况下,也会制造出一种虚假的共识感。

各 AI 模型的表现

虽然所有主流 AI 助手在来源验证方面都存在困难,但它们的引用习惯各不相同。ChatGPT 的引用率最高,达到 57%,而 Claude、Gemini 和 Google AI Overviews 的引用率在 38% 到 46% 之间。值得注意的是,引用频率的提高并不等同于准确性的提高。这些模型通常依赖公司博客、新闻综述或统计聚合网站,而不是原始研究,这就是为什么即使提供了引用,它也经常无法指向原始数据的原因。

数字为何会发生偏移和失效

即使追踪路径成功指向了一项研究,数据也经常被扭曲。在追踪的统计数据中,约有 17% 在互联网传播过程中被改变了背景、年份或范围。例如,一项关于 15 名女性评估健康网站的 2004 年研究,最终被转化为关于所有网站用户设计偏好的普遍性声明。当信息脱离其原始背景并在营销材料或二级报告中被重新利用时,就会发生这种偏移。

AI 生成数据的最佳实践

用户应将 AI 提供的统计数据视为线索,而非确凿的事实。为了验证信息,用户应该:

  • 追踪来源: 点击引用链接,直到找到原始来源。如果链接指向列表文章或公司博客,请继续搜索原始研究论文或政府报告。
  • 验证背景: 检查研究的样本量、人口统计学特征和年份。一个数字的有效性取决于其背后的方法论。
  • 忽略共识: 不要因为多个 AI 模型提供了相同的数字,就认为该统计数据是准确的。模型通常共享相同的训练数据和常见的网络偏见。

社区观点

围绕这些发现的讨论凸显了人们对依赖 AI 进行尽职调查的更广泛担忧。批评人士指出,AI 生成的图表和自信、带有引用的答案具有“诱惑性”,可能会阻碍用户进行自我验证。一些观察人士认为,这个问题并非 AI 所独有,并指出人类生成的内容长期以来一直受到“编造”统计数据传播的困扰,但 AI 通过为未经证实的声明提供一层权威的外衣,加速了这一过程。正如一位评论者所言:“引用只能告诉你 AI 在哪里找到了这个数字,而不是这个数字最初来自哪里。”

Sources