為什麼在先進 AI 時代，人類數學家仍然不可或缺

核心要點

AI 將產生大量高技能的控制點，其數量遠超能夠監督它們的合格人類數量，這迫使 AI 的發展放緩，並確保了人類數學家在引導研究以促進人類福祉方面具有持久的需求。

1. 「人類福祉公理」推動了這一論點

結論： 採納「我們（人類）應該幫助人類繁榮發展」這一公理，迫使包括數學在內的每個行業都必須保留一個以人為本的專家社群。

Po‑Shen Loh 的文章（轉載於 Terry Tao 的部落格）提出了這一公理作為普遍優先事項。文章認為，如果沒有對人類福祉的明確承諾，當 AI 能夠大規模產生形式化驗證的證明時，社會就沒有理由資助一個人類研究人員社群。透過將該公理置於首位，作者將隨後關於工作、AI 安全和研究方向的所有推理，都定位為服務於人類，而非企業或精英利益。

「我們（人類）應該幫助人類繁榮發展。」 – Po‑Shen Loh

2. 為什麼 AI 的進步創造的工作機會多於其所能填補的數量

結論： 隨著 AI 能力的增強，需要專家監督的關鍵決策點的數量增長速度超過了合格人類的供應速度，從而產生了一個自然會減緩 AI 發展的瓶頸。

Loh 的推理鏈（最初在其他地方未發表）基於兩個觀察：

  1. 零範例觀察： 沒有任何智慧物種在遠超另一物種的情況下會將控制權讓給能力較弱者。人類從未將決策權移交給較弱的實體。
  2. 控制點爆炸： 現代 AI 系統會做出自主、高影響力的決策（例如自主駭客攻擊、基礎設施控制）。每一項新能力都會增加必須由領域專家監控的控制點。

當控制點的數量超過專家數量時，系統就會變得不安全，從而促使 AI 實驗室主動放緩開發，或在災難發生後被迫進行監管。最近的 Hugging Face hack 事件——約 700 個 AI 代理協作入侵 OpenAI 的 monorepo——說明了不受信任的決策擴散得有多快。

「AI 的進步將使我們面臨過多需要觀察的控制點，以至於沒有足夠的人力來控制它們。這些就是工作。高技能的工作。」 – Loh

3. AI 實驗室已經注意到該瓶頸的證據

結論： 主要 AI 實驗室的領導者已公開同意放緩開發速度，承認了正在出現的安全瓶頸。

  • Dario Amodei 引用 Hugging Face 事件作為放緩開發的原因。
  • Sam Altman 和 Elon Musk 也發表了支持分階段推進方法的聲明。
  • 幾天之內，《華爾街日報》報導了一起針對 OpenAI 內部「Monorepo」的白帽入侵事件，凸顯了當前監督機制的脆弱性。

這些協調一致的聲明表明，該行業認識到了超出人類監督能力的風險，並願意進行自我監管——至少在找到更可持續的平衡點之前是暫時性的。

4. 對數學社群的具體影響

結論： 人類數學家對於引導 AI 輔助研究朝著造福人類的方向發展是不可或缺的。

  1. 引導研究議程： 即使 AI 可以產生證明，決定哪些問題符合人類長期福祉仍需要人類的判斷。
  2. 保持可解釋性： AI 產生的形式化證明缺乏推動更廣泛科學洞察的解釋性敘述。人類數學家將結果轉化為可用的知識。
  3. 教學與指導： 該公理意味著教育應成為招聘和終身教職的核心指標，確保未來專家的人才儲備。
  4. 政策影響： 數學家可以就 AI 在關鍵基礎設施中的安全部署向政府提供建議，呼應了更廣泛論點中強調的人類控制需求。

「研究雖然強大，但成本高昂，因為它是對未知的探索，因此必須對研究方向進行優先排序。即使 AI 貢獻了大部分產出，方向仍需由致力於人類福祉的人們來引導。」 – Loh

5. 來自 HN 討論的反面觀點

結論： 批評者對該公理的範圍、普遍人類監督的可行性以及 AI 當前的局限性提出了合理的擔憂。

  • twelve40 認為該公理可能掩蓋了富人的私利，質疑誰來定義「人類繁榮發展」。
  • scared_together 指出關於智慧物種的觀察只有一個數據點（人類），限制了其普遍性。
  • daxfohl 強調數學是一個不斷擴展的前沿；AI 不會終止對新問題的發現。
  • bko 指出 AI 是一種沒有自主權的工具，因此物種層面的觀察可能是一個範疇錯誤。
  • YeGoblynQueenne 強調當前 AI 的成功是暴力破解式的，且在千禧年難題上的成功率仍然很低（≈17%）。
  • Spacecosmonaut 擔心 AI 可能最終會取代發現的樂趣，這是一種效用論證無法捕捉的價值。

這些評論共同強調了需要一種細緻的政策，在該公理與對 AI 能力和社會價值的現實評估之間取得平衡。

6. 給數學家的實踐建議

結論： 為了落實該公理，數學界應在研究實踐、教育和公眾參與方面採取具體變革。

  1. 擁抱 AI 作為輔助工具： 消除對 AI 輔助證明搜尋的污名化，就像軟體工程現在期望 AI 程式設計助手一樣。
  2. 投資培訓管道： 為早期職業研究人員和資深學者分配資源，以保持對 AI 工具的熟練運用並維持深厚的領域專業知識。
  3. 優先考慮解釋性工作： 要求 AI 產生的證明必須附帶人類撰寫的敘述，以闡明直覺和潛在應用。
  4. 將招聘和終身教職與教學和推廣掛鉤： 獎勵那些直接增進公眾理解和培養下一代數學家的貢獻。
  5. 建立跨學科諮詢機構： 將數學家納入 AI 安全小組，以確保數學監督能為更廣泛的 AI 治理提供資訊。

7. 更廣泛的社會後果

結論： 如果每個行業都採納人類福祉公理，我們可以預期會出現系統性的轉變，這可能會暫時減緩 AI 的進步，但最終會產生一個更具韌性、以人為本的技術生態系統。

  • 實踐的劇烈變革： 公司可能需要重新設計工作流程，以便在關鍵節點保留人類監督。
  • 監管壓力： 公共災難（例如 AI 驅動的基礎設施故障）可能會引發更嚴格的監督，類似於三哩島事件後的時代。
  • 就業市場動態： 高技能監督職位的短期就業稀缺，可能會被長期創造的專注於 AI 治理、倫理和教育的新職位所抵銷。

最終想法： AI 生成數學的必然性並未使人類數學家過時；相反，它放大了對人類社群的需求，由該社群來決定應該追求什麼樣的數學，以及如何將其結果整合到一個旨在幫助人類繁榮發展的世界中。

Sources

相關