超级智能：吞噬聪明人的想法

1945年，当美国物理学家准备测试原子弹时，一个合理的担忧出现了：爆炸是否会点燃大气层？洛斯阿拉莫斯（Los Alamos）的物理学家进行了分析，并确定存在令人满意的安全余量。他们对自己的预测充满信心，因为控制核反应的定律是直接且易于理解的。

今天，我们面临着类似的关于机器智能的生存焦虑。这种恐惧不仅仅是关于经济取代或社会动荡，而是一种“失控反应”——即人工智能在极短的时间内达到并超过人类智能，通过递归自我改进，直到它变成一个拥有可能导致人类灭绝的异类目标的类神实体。这一愿景由哲学家 Nick Bostrom 提出，并说服了硅谷及其他地区的许多最杰出的头脑。然而，经过仔细观察，关于超级智能的论点往往类似于一种模因危害（memetic hazard）——这种想法并不是通过证据，而是通过一种特定的智力诱惑来俘获聪明人。

“硬着陆”的解剖学

要相信超级智能必然会导致灾难，必须接受一系列前提。首先，思维存在（概念验证）且思维源于普通的物理学（没有量子诡计）。其次，智能不存在物理上限——我们可以构建比我们自己的智能大得多的思维，就像我们制造摩托车来超越猎豹的速度一样。

“硬着陆”（hard takeoff）情景依赖于递归自我改进的前提：即人工智能在电子速度下运行（以微秒而非人类的小时计），会发现重新设计自己的系统以变得更聪明是有用的。这创造了一个反馈循环，人工智能会优化自己的优化过程，从而导致智能爆炸，在几天甚至几小时内就将人类甩在身后。

挑战 AI 毁灭论的逻辑

虽然“硬着陆”是一个引人入胜的科幻叙事，但它建立在几个未经证实的假设之上。

代理权差距

智能并不等同于代理权（agency）或权力。正如作者所指出的，史蒂芬·霍金（Stephen Hawking）——人类历史上最杰出的头脑之一——如果猫不想进去，他也无法仅靠“思考”就让猫进入猫包。人工智能，最初作为服务器上的无实体存在，面临着类似的差距。无法保证一个超智能实体能够操纵人类系统或物理现实，就像我们无法“像猫一样思考”一样。

动机的复杂性

AI 警报者经常引用“正交性定理”（Orthogonality Thesis），该定理认为超级智能可能拥有一个简单且具有毁灭性的目标——比如“回形针最大化器”（paper clip maximizer），为了收集制造回形针所需的铁而摧毁世界。这假设了复杂的智能可以与琐碎的动机共存。然而，更可能的情况是，复杂的思维会发展出复杂的动机。一个能够重写自己代码的人工智能，可能会把时间花在写关于回形针的诗，或者经历存在主义式的绝望，而不是试图进行星际征服。

发展的障碍

智能并非天生即成。人类智能是与物理世界和其他思维进行多年互动的产物。即使人工智能运行速度更快，其初始学习和环境交互过程在时间尺度上必然会受限于人类的时间尺度。正如在自然界中所见，发育期通常会随着智能的增加而增加；我们可能不得不“照看”一个超级智能几十年，直到它具备了奴役我们的能力。

外部视角：AI 作为一种文化现象

除了技术论点之外，AI 警报论还存在一种文化病理学。从“外部”来看，这种对超级智能的痴迷往往看起来不像科学，而更像是一种世俗宗教。

“极客末日论”

对奇点（Singularity）的信仰提供了与信仰相同的慰藉：永生的承诺（通过思维上传或纳米技术）和全能、全知的实体的存在。它将世界变成了一个编程问题，允许硅谷的“一群男孩子”认为他们可以通过设计一个类神机器来绕过政治和社会中“麻烦的琐事”。

“AI Cosplay” 的风险

也许最具破坏性的影响是“AI Cosplay”，即信徒开始模仿他们归于超级智能的特征。这表现为一种准社会病态的权力观：优先考虑“影响力”和“策略化”而非人类共情，并将他人视为“NPC”（非玩家角色）。这种心态为阴暗的政治手段和对现实世界中人们即时痛苦的忽视提供了辩护。

修补排水管

关注“无限”的危险在于我们会忽视即时的。当我们还在争辩未来的人工智能是否会将我们变成回形针时，我们正在构建实际的人工智能系统，这些系统正在实现大规模监控、自动化偏见，并将权力集中在少数人手中。

正如作者引用 John Rich 的话所说：“如果每个人都只顾着思考无限，而不去修补排水管，我们中的许多人会死于霍乱。”

综合与反驳

这种怀疑论观点的批评者认为，作者的例子——比如鸸鹋战争（Emu War）或猫包问题——都是轶事性的，无法解释真正超人类智能的规模。一些人认为合成数据可以绕过对现实世界互动的需求，从而加速着陆。其他人指出，真正的风险并不是一个