AI 建議與批判性思考的侵蝕:關於「認知投降」的研究
AI 建議與批判性思考的侵蝕:關於「認知投降」的研究
AI 建議增加了信心,卻降低了準確度
來自三所法國與義大利大學的研究指出,獲取 AI 建議會顯著抑制一個人識別自身知識邊界的能力。在一項受控研究中,AI 建議的出現使得人們說「我不知道」的意願從 44% 驟降至 3%,而準確度也從 27% 降至 9%。儘管表現與誠實度皆有所下降,使用者的信心卻從 30% 急劇上升至 76%。
Valerio Capraro,Milano-Bicocca 大學的副教授兼該研究作者,指出當人們依賴 AI 時,準確度降低了三倍,但信心卻增加了一倍。這種現象顯示,AI 不僅僅是提供錯誤答案,更是在主動抑制「承認無知」的認知習慣。
實驗設計與「認知投降」
這項由 Chiara Marcoccia (École Normale Supérieure) 與 Walter Quattrociocchi (Sapienza University of Rome) 共同撰寫的研究,特別選用了 AI 模型已知會出錯的問題,例如電影中的特定視覺細節(例如:Bend It Like Beckham 中球隊制服的顏色)。研究人員使用了 Step 3.5 Flash——這是一個在這些特定查詢中經常出錯的模型——以確保任何判斷力的下降都不能歸因於使用者僅僅是將任務委派給一個可靠的工具。
這種行為符合 Wharton 研究人員所提出的「認知投降」概念。這種現象描述了一種狀態:使用者在約 80% 的情況下接受了錯誤的 AI 答案,同時報告了比沒有 AI 協助的人更高的信心。
金錢激勵的影響
為了測試財務誘因是否能減輕這種影響,研究人員引入了金錢激勵。雖然這些激勵確實提供了一點點改善,但結果仍遠低於沒有 AI 的基準線:
- 承認無知的意願: 從 3% 上升至 8%(基準線:44%)
- 準確度: 從 9% 上升至 16%(基準線:27%)
批判性思考與教育的風險
無法承認無知是智力成長的關鍵組成部分。Capraro 強調,能夠說出「我不知道」代表著對自身知識極限的認知。對於兒童而言,這點尤為令人擔憂,因為他們可能在發展出必要的批判性思考能力之前就開始整合這些系統。
這種風險因現代 AI 產品的設計而變得更加嚴重,例如 Google 的 AI 生成搜尋摘要,其設計初衷是提供明確的答案,而非承認不確定性。這種設計模式鼓勵使用者模仿 AI 的信心,即使資訊是錯誤的。
批判性分析與社群觀點
在這些研究結果發表後,技術社群針對研究方法與現實世界的適用性提出了幾點反對意見。
方法論批判
一些批評者認為,這項研究測試的是人類對提供資訊的普遍傾向,而非 AI 的特定特徵。一位評論者指出:
這項研究讓使用者獲取了一個研究人員已知會給出錯誤答案的 LLM... 這就像是給某人一本關於冷門學科的教科書,而該教科書存在某些事實錯誤... 顯然,那個人既更有可能願意回答問題,也更有可能答錯!
其他人則指出,問題的瑣碎性質(電影冷知識)可能會降低參與者的風險成本,使得他們比起處理高風險的專業或學術任務時,較不傾向於驗證資訊。
社會學與技術影響
從從業者之間的討論顯示,出色的語氣與自信的口吻(