AI 2040: 避免超智能灾难的 Plan A

核心提案：实现可验证的超智能减速

Plan A 是一项政策建议，旨在通过将超智能的发展推迟到 2040 年，来避免 AI 驱动的生存危机。 该策略主张达成一项国际协议——主要是在美国和中国之间——用全面的研究透明度和相互保证的算力破坏机制，来取代当前秘密进行的 AI 霸权竞赛。

通过将所有 AI 研究公开，并允许全球多家公司共同缓慢且安全地进行规模扩张，Plan A 旨在防止两种主要风险：人类对超智能系统的控制权丧失（对齐问题）以及权力以前所未有的规模集中在少数个人或实体手中。

Plan A 的拟议时间表

为了对政策建议进行压力测试，作者概述了一个 Plan A 成功实施的具体场景：

• 2029: 美国和中国同意避免一场鲁莽的超智能竞赛。
• 2030: 世界避免了“默认”路径，即完全自动化的 AI 研发，作者预测该路径本会在年底前导致超智能出现。
• 2030–2035: AI 能力在人类范围内进行规模扩张，达到顶尖人类专家水平。
• 2035: 在顶尖人类专家水平上实施战略性暂停，以维持人类控制。
• 2040: 暂停解除，开始向超智能规模扩张。

关键政策干预措施

Plan A 依赖于几项关键干预措施，以确保减速过程是可验证且有效的：

全面研究透明度

AI 公司将被要求限制内部部署与外部部署之间的差距。这可以防止“隐蔽”的递归自我改进风险。要求包括公开报告模型规格（目标和价值观）、内部使用统计数据以及对内部 AI 编排的定性印象。

算力治理与验证

由于前沿 AI 训练需要海量的硬件，算力成为了执行强制措施的主要杠杆。Plan A 建议：

• 供应链追踪: 要求芯片代工厂和数据中心所有者公开声明重大采购和销售。
• 验证 R&D: 开发“仅推理”验证方案，允许公众使用现有模型，同时验证是否没有新的前沿训练任务在进行。
• 出口管制强制执行: 加强现有出口管制的执行力度，以防止走私芯片支持隐蔽项目。

政府能力建设

作者认为，美国政府目前缺乏监督这些政策所需的顶尖 AI 人才，因此，获取高质量的 AI 专业知识已成为国家的一项紧迫任务。

替代方案与“竞赛”风险

作者将 Plan A 与其他潜在路径进行了对比，最显著的是 Plan D (Race to ASI)。在 Plan D 中，公司通过自动化 AI 研发来尽可能快地达到超智能，以击败地缘政治对手。

"We think Plan D is atrocious... we don’t expect the AI companies to retain control over their AIs through the intelligence explosion, if they race approximately as fast as they can... [and] the risk of World War III is too high."

批判性分析与反论点

围绕 AI 2040 提案的社区讨论突出了几个技术和经济方面的怀疑点：

• “不可避免性”假设: 批评者认为该提案假设 LLM 会不可避免地导致 ASI，忽略了当前架构可能达到平台期（即呈现“sigmoid”曲线而非指数曲线）或它们缺乏超越 token 预测的真正智能的可能性。
• 经济可行性: 一些观察者指出，预计的 GPU 构建成本（达到数万亿美元）将超过主要国家的 GDP，质疑这种规模的扩张是否会有足够的资金来源。
• 执行挑战: 怀疑论者质疑与中国达成协议的plausibility（合理性）如何，理由是难以在单一制国家中验证合规性，且历史上研究往往倾向于于地下进行而非停止。
• 劳动力市场推测: 一一些批评者认为，该场景预测的失业率（高达 74%）和
  2035 年物理机器人部署的速度过于投机，脱离了经济现实。