人类对智能爆炸的准备程度

“智能爆炸”的可能性——即超越人类能力的超智能体的出现——对全球稳定性构成了系统性风险。虽然此类事件的技术可能性仍存在争议，但眼前的危险在于劳动力经济置换、民主制度的侵蚀以及美中之间地缘政治竞争的加剧。

经济置换与社会分层

AI 快速融入劳动力市场威胁着要创造一个永久性的经济底层阶级。通过减少劳动力来追求更高利润率的驱动力可能会导致消费需求的系统性崩溃，因为失业人口缺乏维持经济所需的购买力。

我并不像担心流氓代理人那样担心我们正在建立一个永久性的底层阶级，他们只能依赖于那些贬低了他们劳动价值的人决定施舍给他们的任何残羹剩饭。我担心的是为了维持这个底层阶级的秩序而建立的安全机构。

这种经济转变不仅仅是失业问题，更可能引发一场“逐底竞争”，从而触发革命，特别是在两极分化的民主国家或公众愤怒容易转向中央领导层的非民主国家。

地缘政治不稳定与合作失败

管理超智能的风险需要前所未有的国际合作，然而当前的地缘政治趋势表明这种团结不太可能实现。美国与中国之间对 AI 霸权的竞争使得关于安全和管理权的外交协议几乎变得不可能。

关于国际合作失败的关键担忧包括：

• 网络战争与基础设施恐怖主义：LLM 的能力曲线可能会催生新的冲突形式，使现有紧张局势走向崩溃边缘。
• 削弱的民主制度：AI 驱动的社交媒体操纵可能会进一步赋能那些寻求控制舆论并制造冲突的人。
• 能力差距：在地缘政治中，对手的能力往往比其意图更令人担忧，而 LLM 能力的快速进步正超越现有的安全框架。

关于 AI 代理权与超智能的辩论

关于 AI 是否能真正实现“代理权”或成为一个有意识的实体，存在重大分歧。一些人认为 AI 是一种工具——类似于烤面包机——风险不在于 AI 本身，而在于利用它来剥削或胁迫他人的人类。

反对智能爆炸的论点

• 资源约束：批评者认为，如果能源和材料等关键资源仍由人类控制，超智能就不可能迅速出现。
• 模型退化：一些人质疑“递归自我改进”的概念，认为对于预测引擎而言，“递归自我退化”更有可能是结果。
• 炒作周期：对于 AI 实验室创始人的说法存在怀疑。一些人认为，危言耸听是一种营销策略，旨在让技术看起来比实际更强大，或者是一种旨在为自己争取监管俘获的策略。

非对称权力优势

除了流氓 AI 的风险外，还存在非对称优势的风险。拥有充足资本的个人如果能够指挥一支由 AI 程序员和执行者组成的“代理人军队”，可能会在全球经济和社会中造成难以想象的权力失衡。