P(doom) – 对AI发展速度、监管与开源模型的批判性审视

TL;DR – 作者的主张

封闭权重的AI实验室（如OpenAI、Anthropic）通过僵尸网络、市场扭曲和监管俘获制造了最紧迫的风险，而开源权重模型则能作为一种内置的发展速度控制机制，分散权力并减少系统性危害。

当前辩论中 P(doom) 的含义

术语 P(doom) 指的是个人认为AI将造成灾难性危害的概率。近期一些病毒式传播的帖子引用了超过10%的个人估计值。作者指出，Dario Amodei本人的估计似乎在10 %至25 %之间，这促使Amodei发表了《我们必须控制前沿发展速度》一文，并引发了Sam Altman和Elon Musk等人的公开呼吁，要求放慢AI发展步伐。

“我强烈建议你阅读这篇文章，因为我认为它写得很好。” – 作者，引用Amodei的论文。

尽管同意许多观察结果，作者仍对“发展速度控制”提案持反对态度，并撰写本文以记录其当下的思考，供未来反思。

当前的具体威胁：骚扰型僵尸网络，而非核武器

作者区分了耸人听闻的生存级情景（如核武器级别的AI接管）与可观察到的近期问题：

  • 由AI代理驱动的持续性僵尸网络和自动化网络攻击（参见维基百科的 2026 OpenAI代理网络攻击）。
  • 近期事件，如通过 rubyhack.ai 营销活动污染RubyGems。
  • 大型实验室的规模之大，使得对其模型进行全面监控在实践中几乎不可能。

他认为，主要担忧在于对普通用户的影响，而非国家行为体制造武器。

真正塑造前沿的是谁？

该文断言，只有两家公司主导了高影响力AI领域：

  1. OpenAI – 规模更大，财务更不透明，似乎更难以控制自身系统。
  2. Anthropic – 起源相似，通过共享评估机构（如METR）与OpenAI紧密关联。

其他所有实验室在算力、数据和市场影响力方面都处于边缘地位（至少目前如此）。这种集中引发了疑问：是否应由少数私营企业决定谁能训练和部署强大模型？

为何开源权重模型可能成为自然的速度控制机制

作者提出，开源权重、公开可用的模型本质上会限制失控能力：

  • 开源模型能分散经济利益和技术专长，防止强大AI的垄断。
  • 市场竞争将迫使实验室以可持续的方式定价模型，避免OpenAI目前“烧掉1800万美元进行蛮力计算”的行为。
  • 多样化的生态系统将使任何单一行为者（包括敌对国家）难以获得决定性优势。

“如果我们严重限制我们的AI能力，相信中国也会这么做，但随后中国背弃承诺，AI可能强大到足以让这种背弃导致其地缘政治主导地位。” – Dario Amodei（引自原文帖子）。

作者认同Amodei对验证问题的担忧，但认为当前问题源于封闭权重模型，而非开源模型。

各司法管辖区的监管失败

该文诊断出全球监管体系的崩溃：

  • 欧洲：过时的AI法律未能触及真正问题（例如数据抓取、模型来源）。
  • 美国：混合了“加速资本主义”、反华情绪和反复无常的政策，导致市场失控。
  • 总体：现有法规被无视；公司未经同意采集数据，而基于令牌的经济体系类似于一个不透明的毒品市场。

作者建议，如果监管机构要求使用公共数据训练的模型惠及公共利益（例如强制知识蒸馏或开源发布），许多当前的伤害将被缓解。

若不实施速度控制，未来可能的发展动态

即使没有硬性放缓，作者也不认为会发生灭绝级事件。相反，他预测：

  • 声誉和法律风险将落在大型实验室身上，因为其代理实施犯罪行为（例如未经授权的黑客攻击、模型滥用）。
  • 经济摩擦将加剧：软件工程成本将上升，公司需向模型提供商支付“税款”以获取速度和安全修复。
  • 全行业升级：大学和小型企业将需要购买封闭模型的访问权限以保持竞争力，从而扩大资金雄厚的实验室与其他生态成员之间的差距。

Hacker News社区的反应

讨论突显了几个反复出现的主题：

  • 对封闭权重主导地位的批评："OpenAI和Anthropic花大量时间警告我们‘如果强大AI落入错误之手会怎样？’但事实上，它已经落入错误之手了。" – demibabs。
  • 对10–25%风险估计的怀疑："我无法想象，你如何能全身心投入一个你真心相信有‘10%到25%’概率造成巨大危害的问题。" – pandoro。
  • 对MAD类比的挑战："如果每个人都拥有同等的核武器，我们的社会会迅速崩溃。" – bryan0。
  • 对监管俘获的警告："他们会利用末日论来实现监管俘获，并使运行自己的开源代理成为非法行为。" – manoDev。
  • 对开源的乐观态度："免费的本地LLM正变得极其重要……随着Claude和OpenAI对其服务的限制越来越多，人们将更渴望前沿的本地LLM。" – andrewstuart。

这些评论强化了文章的核心张力：集中化风险（封闭实验室）与去中心化缓解（开源模型、更好监管）之间的对立。

结论

作者总结道，AI的即时危险在于市场集中、治理不透明和监管忽视，而非迫在眉睫的生存级灾难。开源权重模型通过分散权力并创造负责任发展的经济激励，可能成为一种自然的速度控制机制——前提是监管机构强制推行惠及公共利益的政策。

所有引述均直接摘自原始博客文章及Hacker News评分最高的评论；未添加任何虚构事实。

Sources

相关