超級智慧：吞噬聰明人的概念
超級智慧的概念——即人工智慧能夠遞迴自我提升，直至達到類神的智慧層級，甚至可能毀滅人類——常被描述為不可避免的災難。然而，這種敘事往往依賴一系列脆弱的前提，且更像是一種文化現象或「模因危害」，而非有根據的科學預測。
超級智慧敘事的前提
要相信 AI 突然變得超級智慧並接管世界的「硬起飛」情境，通常必須接受以下六個核心前提：
- 概念驗證： 思考的心智存在（人類大腦）。
- 無量子戲法： 心智源自普通物理，可用電子元件模擬。
- 多種可能的心智： 沒有物理法則將智慧限制在人類水平；遠超人類的心智是可能的。
- 頂端仍有空間： 硬體可以持續縮小與加速，甚至再提升數個量級。
- 類電腦的時間尺度： 電子心智的運作時間將是微秒級，而非人類的時、日、年尺度。
- 遞迴自我改進： AI 自然會想提升自身智慧，且能快速實現。
若這些前提成立，結論便是失控的連鎖效應：一旦 AI 達到人類水平的智慧，它便能在無需人類協助的情況下自行重新設計，導致智慧爆炸，最終可能使人類滅絕——無論是出於惡意，或僅僅因為人類身體是原料來源（「回形針最大化者」情境）。
反對超級智慧風險的論點
有多項實質理由對「硬起飛」情境持懷疑態度，從智慧的本質到軟硬體的實際限制皆在其中。
智慧與能動性的限制
智慧並不自動賦予能動性或操控物理世界的能力。正如「史蒂芬·霍金的貓」論證所示，卓越的頭腦無法僅靠「思考」就把不情願的貓放進載具；物理限制與缺乏具身性意味著，伺服器上的無形 AI 仍須說服人類代為行動。
此外，「鴯鶓論證」指出，即使是高度智慧的群體（如澳洲軍隊）也可能被較低智慧的生物以簡單的游擊戰術所阻礙。智慧並非力量的線性尺度。
動機的複雜性
「正交性論」認為超級智慧的存在體可能擁有微不足道的目標（如製造回形針），並以絕對的僵硬性執行。然而，更可能的是複雜的心智會產生複雜的動機。真正的智慧實體可能會感到存在的絕望、沉迷於詩歌，或根本不渴望征服銀河。
技術與發展限制
- 資料依賴性： 現代 AI 的突破主要來自龐大資料集，而非演算法的飛躍。若 AI 需要新的、真實世界的資料來改進，遞迴自我提升將變得困難，因為此類資料無法以電子速度產生。
- 互聯性： 智慧很可能是高度互相連結的。不存在單一的「智慧旋鈕」可以在不影響系統其他部分的情況下調高，這使得「遞迴微調」情境不太可能。
- 發展時期： 智慧生物通常需要長時間與環境互動才能成熟。AI 的發展很可能受限於其所互動之人類與世界的時間尺度。
- 分散式智慧： 智慧不僅是個別心智的屬性，而是分佈於文化與基礎設施之中。孤立在荒島上的單一超級智慧無法從零開始建造微晶片工廠。
「外部論」：AI 恐慌主義作為文化現象
除了技術層面的論點外，對超級智慧的執著常表現為科技菁英的「宗教 2.0」形式。此信念體系提供了多項心理與社會功能：
- 世俗不死： 它提供四條通往不死的道路：醫療納米技術、腦部上傳、數位復活，或是我們生活在具備備份的模擬世界的揭示。
- 自大狂妄： 它為少數「孤膽英雄」欲掌控世界權力杠桿、在 AI 之前「修正」世界的慾望提供正當性。
- 宏大妄想： 透過聚焦於未來數兆的模擬生命，它讓研究者忽視貧困、瘧疾或氣候變遷等即時、現實問題，轉而沉溺於抽象且高風險的理論推演。
- AI 角色扮演： 部分科技產業領袖開始模仿他們想像中的超智慧、操控性實體，將其他人類視為「非玩家角色」（NPC），並進行「骷髏與匕首」式的政治操弄。
結論：修補排水管
AI 真正的風險並非虛幻的超級智慧，而是當前技術所帶來的即時倫理失敗。這包括監控的集中化、將不道德行為植入自動化系統，以及透過渴求資料的模型對人們的剝削。
正如作者所引述約翰·里奇的話：「如果大家都在思考無限而不去修補排水管，我們許多人將死於霍亂。」對假想「神機」的關注分散了對當前機器學習所創造的權力關係與社會控制的緊迫管理任務。