AI 與數學推理:工作記憶假說
工作記憶假說
AI 在解決複雜數學問題上的精通程度,通常被歸因於一般智能的提升或數學直覺的發展。然而,一個極具說服力的替代解釋是,AI 擁有比人類大腦更龐大的有效工作記憶。透過利用巨大的外部符號工作空間——特別是上下文窗口(context window)——AI 消除了人類推理中最顯著的生物限制之一:同時持有並操作多個陌生元素的有限容量。
工作記憶作為認知瓶頸
工作記憶是用於在短時間內持有並操作資訊的心理系統。在數學中,這涉及追蹤變數、運算、假設和中間引理(lemmas)。人類的工作記憶受到嚴格限制;例如,在腦中計算兩個三位數相乘很困難,並非因為運算簡單,而是因為難以保留部分結果。
研究指出,工作記憶是超越一般 IQ 的數學表現之獨立預測因子。Alloway 和 Passolunghi (2011) 以及 Alloway 和 Alloway (2010) 的研究發現,工作記憶的測量指標對兒童的數學技能和學術成就具有獨特的貢獻,有時甚至比 IQ 本身更能預測表現。
AI 中的增強型符號工作記憶
雖然人類使用草稿紙來擴展工作記憶,但 AI 模型使用其上下文窗口作為一個巨大的外部筆記本。這種「增強型符號工作記憶」允許模型同時保持整個問題陳述、數百個中間方程式以及多個被放棄的方案處於活躍狀態。
推理的外在化
與可以維持私密內部心理狀態的人類不同,標準語言模型主要透過其已生成的 token 序列來維持狀態。文本不僅僅是思考過程的報告;它本身就是推理的機制。這種「大聲思考」在數學中成為了一種戰略優勢,因為:
- 明確的限制條件: AI 可以於每個階段重新陳述活動中的限制條件(例如,「n 是奇數,p 是質數」),從而防止經常困擾人類數學家的「帳目錯誤」。
- 組合穩定性: 數學推理具有高度的組合性(A → B → C → D)。大型工作空間允許 AI 建構更長的推導鏈,而不會失去全局結構。
- 可驗證性: 數學符號旨在減少歧義,使其非常適合透過大型文本工作空間進行運作的智能,在該空間中步驟可以被記錄並驗證。
領域特定性:數學 vs. 非正式推理
巨大上下文窗口的優勢並非普世適用;它在數學領域特別強大,因為該領域是人為建構的,具有明確性且可驗證。
相比之下,非正式推理(例如,社會或政治分析)依賴於不穩定的概念和隱藏的原因。較大的上下文窗口允許 AI 檢視更多數據,但它無法檢索從未被觀察到的事實,也無法解決「公平」或「負責任」等術語固有的歧義性。在這些領域,核心挑戰是在不確定性下識別正確的因果模型,而非管理符號帳本。
Von Neumann 與 Einstein 的區別
AI 與人類數學天才之間的差異,可以被框架化為 John von Neumann 與 Albert Einstein 之間能力的區別。正如物理學家 Eugene Wigner 所指出的,von Neumann 擁有無與倫比的速度和處理大量資訊及複雜論證的能力。然而,Einstein 的特徵在於其更深層、更具原創性的重新概念化問題的能力。
目前的 AI 看起來是 von Neumann 能力的機器增強版——極其快速、廣泛,且能夠保留大量的明確資訊。AI 的下一個門檻將是實現「愛因斯坦式的深度」:即能夠識別問題框架是否錯誤,並發發明一種根本性的新方式來理解它。
社群觀點綜述
技術從業者之間的討論表明,「超越記憶」效應不僅限於數學,還延伸到了軟體工程和一般問題解決中:
- 知識重組: 有些人認為,許多被視為高智能的表現,實際上是同時擁有他人不具備的零散知識片段(A + B)並將其組合的能力。
- 暴力破解與堅持: AI 不具備人類的情緒和生理疲勞,這使其能夠在不因負面結果而氣餒的情況下,「暴力破解」研究方向。
- 負面痕跡的價值: 與主要發表正面結果的人類數學家不同,AI 可以輕易地儲存並重複使用「負面痕跡」(失敗的嘗試),這些可以被利用來避免重複錯誤。
- 抽象化的成本: 一些觀察者指出,AI 缺乏記憶限制,導致它生成的代碼比人類更冗長,且抽象程度較低,因為它不需要為了符合人類有限的工作記憶而簡化問題。
"AI 不受相同架構的限制。它可以將推理轉化為文本,並將該文本作為一個巨大的外部認知工作空間。"
Sources
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch