AI 建议与批判性思维的侵蚀:关于“认知投降”的研究
AI 建议与批判性思维的侵蚀:关于“认知投降”的研究
AI 建议增加了信心,却降低了准确性
来自三所法国和意大利大学的研究表明,获取 AI 建议会显著抑制一个人识别自身知识边界的能力。在一项受控研究中,AI 建议的出现导致人们说“我不知道”的意愿从 44% 骤降至 3%,而准确率从 27% 降至 9%。尽管表现和诚实度都在下降,但用户的信心却从 30% 急剧上升至 76%。
Valerio Capraro 是米兰比科卡大学(University of Milano-Bicocca)的副教授,也是该研究的作者,他指出,在依赖 AI 时,人们的准确率降低了三倍,但信心却增加了两倍。这一现象表明,AI 不仅仅是提供错误的答案,它还在积极地抑制识别无知的认知习惯。
实验设计与“认知投降”
这项由 Chiara Marcoccia(École Normale Supérieure)和 Walter Quattrociocchi(Sapienza University of Rome)共同撰写的研究,专门使用了 AI 模型已知会出错的问题,例如电影中的特定视觉细节(例如 Bend It Like Beckham 中球队制服的颜色)。研究人员使用了 Step 3.5 Flash——一个在这些特定查询中经常出错的模型——以确保任何判断力的下降都不能归因于用户仅仅是将任务委托给了一个可靠的工具。
这种行为符合沃顿商学院(Wharton)研究人员提出的“认知投降”(cognitive surrender)概念。这一现象描述了一种状态:用户在约 80% 的情况下接受错误的 AI 答案,同时报告的信心比那些在没有 AI 辅助的情况下工作的人更高。
金钱激励的影响
为了测试经济利益是否能减轻这种影响,研究人员引入了金钱激励。虽然这些激励确实提供了一定的改善,但结果仍远低于没有 AI 的基准线:
- 承认无知的意愿: 从 3% 上升至 8%(基准线:44%)
- 准确率: 从 9% 上升至 16%(基准线:27%)
对批判性思维和教育的风险
无法承认无知是智力成长的关键组成部分。Capraro 强调,能够说出“我不知道”代表着对自身知识局限性的认可。人们特别担心儿童,因为他们可能在培养出必要的批判性思维能力之前就整合了这些系统。
这种风险因现代 AI 产品的设计而变得更加复杂,例如 Google 的 AI 生成搜索摘要,其设计初衷是提供确定的答案,而不是承认不确定性。这种设计模式鼓励用户模仿 AI 的信心,即使信息是错误的。
批判性分析与社区观点
在这些发现公布后,技术社区针对该研究的方法论和现实世界的适用性提出了几种反对观点。
方法论批判
一些批评者认为,该研究测试的是人类信任所提供信息的普遍倾向,而非 AI 的特定特征。一位评论者指出:
这项研究让人们接触到一个研究人员已知会给出错误答案的 LLM……这类似于给某人一本关于某个冷门领域的教科书,而该教科书存在某些事实错误……显然,那个人既更有可能愿意回答问题,也更有可能答错!
其他人指出,问题的琐碎性质(电影琐事)可能会降低参与者的风险成本,使得他们相比于高风险的专业或学术任务,不太可能去验证信息。
社会学与技术影响
从业者之间的讨论表明,大语言模型(LLMs)“轻快”且自信的语气与它们无法表达真实不确定性的能力相结合,创造了一种危险的组合。这已导致了一些关于新教育方法的建议,例如要求学生生成 AI 响应,然后对其进行批判性分析以找出错误,而不是直接使用 AI 生成最终输出。
此外,人们也担心 AI 可能会大规模地创造“互联网拥抱箱回声壁”(internet hug box echo chambers),即用户寻求的是那些用圆滑、自信的谎言来强化其现有信念的模型,而不是那些用令人不适的真相来挑战他们的模型。