以开源权重作为减缓前沿 AI 开发的机制

提案：通过开源权重减缓 AI 进展

一封致 Anthropic CEO Dario Amodei 的公开信提出了一个立法强制要求：任何向公众提供的 AI 模型都必须以开源权重的形式发布。 该提案的核心目标并非实现 AI 的民主化，而是通过消除推动当前 AI 军备竞赛的经济激励，从而有意识地减缓前沿模型的开发速度。

该论点认为，训练前沿模型所需的海量资金取决于基于“模型权重保持私有”这一假设的公司估值。通过强制要求任何公开模型必须开源权重，私有化的护城河将被摧毁，理论上这将减少投资者愿意提供的资金量，从而同时减缓所有主要实验室的进展速度。

对监管俘获的批判

该提案认为，传统的 AI 监管——例如嵌入式第三方评估员、算力阈值以及带有反垄断豁免的行业协调——不可避免地会导致监管俘获。由于前沿实验室拥有最深厚的技术专长，它们成为了旨在监管自身的法律的主要设计者。

根据作者的说法，这会创造一个循环：

随着新事件触发新规则，监管变得越来越复杂。
大型公司能够负担得起应对这些规则所需的法律和合规团队。
新进入者实际上被阻挡在市场之外，从而保护了现有实验室的利润和地位，而不是减缓技术的开发。

社区分析与反论点

Hacker News 上技术观察者的讨论表明，该提案在经济和安全假设方面存在根本性的缺陷。批评者的共识是，该计划可能会导致比当前的私有模型更糟糕的结果。

经济与战略风险

批评者认为，该强制要求不会减缓进展，而是会改变 AI 获取方式的性质：

获取方式的私有化： 如果公开发布要求开源权重，公司将简单地停止提供公开模型，转而完全转向私有企业协议，从而加速前沿 AI 的私有化。
基础设施层面的主导地位： 开源权重并不会降低“小玩家”的准入门槛，因为运行 1T+ 参数模型的算力成本仍然高得令人望而却步。这将导致权力从模型创建者转移到基础设施层（云服务提供商）。
投资转向： 有些人认为，如果投资者相信一个模型可以达到递归自我改进的“关键阈值”，那么他们可能会忽略私有权重的损失，从而导致出现全球性的超级巨头公司，无论是否开源权重。

安全与安全风险

技术批评者指出，开源权重会显著增加“消融”（abliteration，即移除安全护栏）的风险：

"If we open weights we can't detect it after being published / the guard rails that run on top of the models would be lost. Also abliteration would be much easier to do when a model's been publically release."

进一步的担忧还包括国家支持的参与者使用开源权重的前沿模型来发起网络攻击或开发生物武器的风险，一旦权重公开，这些行为将无法监控或撤销。

不同观点的总结

虽然公开信的作者将该提案视为对 Dario Amodei 承诺安全重于利润的考验——引用了 Anthropic 作为公共利益公司 (PBC) 的身份——但批评者认为这一建议是天真的。这场辩论突显了 AI 治理中的一个根本性紧张关系：主要风险究竟是权力集中在少数私有实验室中，还是通过开源权重导致非对齐、强大的能力扩散。