AI 2040: 避免超智能災難的 Plan A

核心提案：經過驗證的超智能減速計畫

Plan A 是一項政策建議，旨在透過將超智能的開發延遲至 2040 年，來避免 AI 驅動的生存危機。 該策略主張建立一項國際協議——主要是在美國與中國之間——以取代目前秘密競爭 AI 主導權的局面，轉而建立一個完全研究透明化與相互保證算力毀滅（mutually assured compute destruction）的機制。

透過將所有 AI 研究公開，並允許全球多家公司共同緩慢且安全地擴展規模，Plan A 旨在防止兩個主要風險：人類對超智能系統失去控制（對齊問題），以及權力以前所未有的程度集中在少數個人或實體手中。

Plan A 的建議時間表

為了壓力測試其政策建議，作者概述了一個 Plan A 成功實施的具體情境：

• 2029: 美國與中國同意避免魯莽地競爭超智能。
• 2030: 世界避免了「預設」路徑，即完全自動化的 AI R&D，作者預測該路徑將導致在該年底前達成超智能。
• 2030–2035: AI 能力在人類範圍內擴展規模，達到頂尖人類專家水平。
• 2035: 在頂尖人類專家水平處實施戰略性暫停，以維持人類控制。
• 2040: 暫停解除，並開始向超智能擴展規模。

關鍵政策干預措施

Plan A 依賴幾項關鍵干預措施，以確保減速過程是可驗證且有效的：

全面研究透明化

AI 公司將被要求限制內部與外部部署之間的差距。這能防止「隱蔽」遞歸自我改進（recursive self-improvement）的風險。要求包括公開報告模型規格（目標與價值觀）、內部使用統計數據，以及對內部 AI 編排（orchestration）的定性印象。

算力治理與驗證

由於前沿 AI 訓練需要海量的硬體，算力成為執行政策的主要槓桿。Plan A 建議：

• 供應鏈追蹤: 要求晶片代工廠（chip fabs）與數據中心所有者公開聲明重大採購與銷售。
• 驗證 R&D: 開發「僅限推理」（inference-only）的驗證方案，讓公眾可以使用現有模型，同時驗證是否沒有進行新的前沿訓練任務（training runs）。
• 出口管制執行: 加強現有出口管制的執行力，以防止走私晶片促成隱蔽計畫。

政府能力建設

作者認為，美國政府目前缺乏監督這些政策所需的頂尖 AI 人才，因此，獲取高品質的 AI 專業知識對國家而言是一項緊迫的優先事項。

替代方案與「競爭」風險

作者將 Plan A 與其他潛在路徑進行對比，最顯著的是 Plan D (Race to ASI)。在 Plan D 中，公司會將 AI R&D 自動化，以盡快達成超智能以擊敗地緣政治對手。

"We think Plan D is atrocious... we don’t expect the AI companies to retain control over their AIs through the intelligence explosion, if they race approximately as fast as they can... [and] the risk of World War III is too high."

關鍵分析與反對觀點

圍繞 AI 2040 提案的社群討論突顯了幾項技術與經濟方面的懷疑點：

• 「必然性」假設: 批評者認為該提案假設 LLMs 將必然導致 ASI，忽略了當前架構可能達到平台期（即呈現「S 型」曲線而非指數型曲線）或缺乏超越 Token 預測的真正智能的可能。
• 經濟可行性: 一些觀察者指出，預計的 GPU 建設成本（高達數兆美元）將超過主要國家的 GDP，質疑擴展規模的研究資金將從何而來。
• 執行力挑戰: 懷疑論者質疑與中國達成協議的現實性，理由是難以在斯大林式的一黨制國家驗證合規性，且研究有轉入地下而非停止的歷史趨勢。
• 勞動力市場推測: 一些批評者認為，該情境預種測的大規模失業（高達 74%）以及 2035 年實體機器人部署的速度，顯得過於投機且脫離經濟現實。