人類對智能爆炸的準備程度

「智能爆炸」的可能性——即出現超越人類能力的超智能——對全球穩定構成了系統性風險。雖然此類事件的技術可能性仍有爭議，但眼前的危險在於勞動力經濟置換、民主制度的侵蝕，以及美國與中國之間地緣政治競爭的加劇。

經濟置換與社會階層化

AI 快速融入勞動力市場，威脅著要創造一個永久性的經濟底層階級。透過減少勞動力來追求更高利潤率的驅動力，可能會導致消費者需求的系統性崩潰，因為失業人口缺乏維持經濟所需的購買力。

我並不那麼害怕流氓代理人，我更害怕的是我們正在建立一個永久性的底層階級，他們依賴於那些貶低其勞動力的人所決定施捨給他們的任何殘羹剩飯。我害怕的是為了維持這個底層階級的秩序而建立的安全機制。

這種經濟轉變不僅僅是失業問題，而是一種潛在的「向下競爭」過程，可能引發革命，特別是在兩極分化的民主國家或公眾憤怒容易轉向中央領導層的非民主國家。

地緣政治不穩定與合作失敗

管理超智能的風險需要前所未有的國際合作，然而當前的地緣政治趨勢表明，這種團結不太可能實現。美國與中國之間對 AI 霸權的競爭，使得在安全與管理方面的外交協議幾乎變得不可能。

關於國際合作失敗的關鍵擔憂包括：

• 網絡戰與基礎設施恐怖主義：LLM 的能力曲線可能會催生新的衝突形式，使現有的緊張局勢進一步惡化。
• 削弱的民主制度：AI 驅動的社交媒體操縱可能會進一步賦予那些尋求控制輿論並製造衝突的人權力。
• 能力差距：在地緣政治中，對手的對手能力往往比其意圖更令人擔憂，而 LLM 能力的快速進步正超越了現有的安全框架。

關於 AI 代理權與超智能的爭議

關於 AI 是否能真正實現「代理權」或成為一個有意識的實體，存在著顯著的分歧。有些人認為 AI 是一種工具——類似於烤麵包機——而風險不在於 AI 本身，而是使用它來剝削或脅迫他人的人類。

反對智能爆炸的論點

• 資源限制：批評者認為，如果能源與材料等關鍵資源仍由人類控制，超智能就不可能迅速出現。
• 模型退化：有些人質疑「遞歸自我改進」的概念，認為對於預測引擎而言，「遞歸自我退化」更有可能是結果。
• 炒作週期：對於 AI 實驗室創始人的說法持懷疑態度。有些人認為，這種危機感是為了讓技術看起來比實際更強大的行銷策略，或是為了確保有利於他們的監管捕獲策略。

非對稱性權力優勢

除了流氓 AI 的風險之外，還存在非對稱優勢的風險。擁有充足資本的單一實體若能指揮一支由 AI 編碼員與執行者組成的「代理人軍隊」，可能會在全球經濟與社會中造成難以想像的權力失衡。