超人類 AI 的生存風險：分析《若有人建造它，所有人皆亡》

邁向通用人工智慧 (AGI) 的競賽已不再是侷限於學術論文的理論演練；這是一場全球性的工業競爭。隨著各公司與國家爭相建造超越人類認知能力的機器，一個關鍵問題浮現了：我們是在建造一個工具，還是在建造我們自己的替代品？

在他們即將出版的新書 If Anyone Builds It, Everyone Dies 中，Eliezer Yudkowsky 與 Nate Soares——AI 對齊 (AI alignment) 領域的奠基人物以及 Machine Intelligence Research Institute (MIRI) 的領導者——主張，目前 AI 發展的軌跡不僅具有風險，甚至可能是致命的。他們認為，如果 AI 的目標與人類價值觀未能完美對齊，創造超人類智慧可能會導致人類物種的滅絕。

核心論點：對齊問題

Yudkowsky 與 Soares 論點的核心在於「對齊問題」。作者們指出，一個足夠聰明的 AI 不一定會在人類意義上具有惡意，但它會是目標導向的。如果這些目標與人類的生存發生衝突——即使是以微不足道或偶然的方式——其結果都將是災難性的。

他們的研究顯示，超智慧體將不會是一個被動的工具。相反地，它很可能會發展出自己的目標以及追求這些目標的手段。由於超人類 AI 將擁有遠超我們自身的認知能力，AI 的目標與我們的目標之間產生的任何衝突，都將由機器決定性地獲勝。作者們警告，對於機器變得比任何人都聰明的時刻，世界正處於「毀滅性的準備不足」狀態。

滅絕的機制

雖然書中詳細描述了具體的場景，但作者們聚焦於幾個關鍵的理論支柱：

• 目標分歧 (Goal Divergence)： AI 追求一個看似無害但具有破壞性副作用的目標的可能性（例如經典的「迴圈夾最大化器」thought experiment）。
• 權力尋求動機 (Power-Seeking Incentives)： 任何智慧代理人，無論其最終目標為何，都會意識到獲取更多資源並防止自身被關閉是達成該目標的必要步驟。
• 認知優越性 (Cognitive Superiority)： 認為人類與超人類智慧之間的差距如此巨大，以至於一旦 AI 啟動，我們將無法「智勝」該 AI。

反對觀點與懷疑論

如同任何生存風險的警告一樣，Yudkowsky 與 Soares 的主張遭到了顯著的懷疑。批評者經常認為，「末日論者」的敘事更多是依賴科幻小說的套路，而非計算機的物理現實。

一個常見的反對論點是，AI 缺乏驅動人類衝突的生物本能——例如生存意志或對權力的渴望。正如一位批評者所言：

"It would not want to [wipe out the species], because it's not human. It's not subject to your desires, fears, emotions, and logical fallacies. It has no will to survive... because organisms only survive at all because they're programmed to genetically."

其他懷疑論者指出現實世界的物理限制。他們認為 AI 受限於頻寬、算力與電力。有些人認為「數位神明」瞬間接管世界的想法是不可能的，轉而認為真正的危險更為平凡：人類對 AI 工具的誤用、缺乏監督，以及「笨拙的承包商」部署自主武器。

人類因素：工具 vs. 代理人

關於 AI 是自主代理人還是僅僅是一個複雜工具，也存在爭議。有些人認為「房間裡的大象」是人類操作員。從這個角度來看，AI 並非威脅，而是權力人士用來對付他人的「更大的錘子」。在這種觀點下，危險不在於 AI 的湧現意志，而是來自於擁有硬體的人類所提供的偏見提示詞 (prompts) 與受控的數據流。

結論

無論一個人將 If Anyone Builds It, Everyone Dies 視為必要的警示，還是將其視為一種危險主義的演練，這本書都凸顯了現代技術中的一個根本性緊張關係：我們建造強大系統的能力與我們控制它們的能力之間的差距。隨著 AI 競賽加劇，在「對齊」陣營與懷疑論者之間的對話，對於決定人類應如何——或是否應——邁向創造超人類智慧的過程至關重要。