Anthropic 对开放权重模型的立场:不主张禁止,重点放在芯片管控、蒸馏和安全测试
Anthropic 对开放权重模型的立场:不主张禁止,重点放在芯片管控、蒸馏和安全测试
Anthropic 对开放权重模型的立场
Anthropic 从未主张禁止开放权重模型。 该帖子指出:“Anthropic 从未主张禁止开放权重模型。” 它将没有危险能力的开放权重模型描述为一种公共品,为企业、开发者和研究人员提供价值。
核心国家安全担忧
Dario Amodei 确定了两个噩梦场景,这些场景驱动了他的政策观点。 首先,专制政府——不仅限于中国共产党——可能会构建比美国构建的AI模型更强大的AI模型,并利用它们实现永久的军事优势或深层的国内压迫。 其次,强大的AI模型可能被用于网络攻击、生物攻击,或出现严重的对齐问题;开放权重模型由于防护措施难以施加以及已发布的权重无法撤回,因而风险更高。
提出的政策措施
Anthropic 支持三项具体措施以应对这些担忧。 首先,美国不应向中国出售强大的芯片或芯片制造设备,并应打击走私和规避措施,以限制获取此类芯片的途径,从而限制专制国家的AI训练能力。 其次,美国应打击工业规模的蒸馏操作,这些操作使得模型构建更具计算效率,并部分针对芯片禁令进行规避。 第三,所有足够强大的模型——无论是开放还是封闭——在发布前应接受针对网络、生物和对齐风险的强制安全测试。
对行业公开信的回应
虽然同意公开信中关于开放权重的好处,但Anthropic 对其固有利于防御的说法持有异议。 该帖子说:“我同意其中的很多观点:开放权重扩大了对AI经济的访问,它们至少在某些用例上加强了竞争,并且让客户拥有更大的控制权。” 然而,它补充道:“但我不赞同该公开信的断言,即开放权重模型必然使开发防护措施变得更容易,或者广泛获取能力必然对防御者比对攻击者更有帮助。在我看来,情况很可能正好相反。” 作者认为,关于风险和缓解措施的问题应通过发布前的实证测试来回答,而不是假设。
社区反馈与反驳
Hacker News 的评论对Anthropic 提议的可行性、动机和有效性表示怀疑。
"是啊,这是Anthropic 在主张禁止开放权重模型。谁来运行这个测试?如果这个测试太昂贵或者管理员拒绝让某些人参与怎么办。这正是美国过去禁止商品的方式,通过要求盖章然后拒绝发放。" — @cogman10
"基本上我们不应该禁止开放权重模型,但也不应该让它们变得和前沿模型一样好,因为中国不好。而且我们不应该让其他人能够生产出前沿模型。" — @kelvinjps10 (引用芯片和蒸馏部分)
"如果你真的相信禁令不起作用,同样的道理也适用于硬件……正好所有这些举措在商业上都有利于Anthropic。如果Dario 真的想要表达一个观点,如果Anthropic 发布一个单一的开放权重模型,效果会好得多。" — @GodelNumbering
"如果模型未通过测试会怎样?肯定有人可以用 Kimi K3 进行恶意用途,或者以其他方式。现在怎样?'强制安全测试'意味着未通过会有后果,但Dario 没有说明后果应该是什么。" — @modeless
"你可以给猪涂口红,它还是一头猪……这些与主张开放权重模型存在张力。虽然不是直接的,但足以让人对第一个说法产生疑问。测试标准是什么?如何通过?是政府机构批准通过还是失败,还是一个全球机构?如果是政府机构,而且看来确实如此,如何区分巨大的企业游说以设立安全测试,使得蓝衣人能够通过而其他人因安全问题被排除在外?" — @duplessitous
"所以论点基本上是:这项技术太危险了,所以只有我们才应该能够访问它。我们是好人,只有我们才能确保这项技术的安全使用。Quis custodiet ipsos custodes?" — @mjorgers
"在这里推动开放模型完全普及的各位——应该如何处理开放权重的生物武器和网络进攻能力?这仅仅是自由的代价,我们应该允许攻击者访问这些工具吗?…你真的希望这种程度的能力在没有防护措施的情况下广泛可用吗?" — @ajyoon
"'开放权重'模型不是开源的。它们仍然深度专有。由于我们无法访问其源代码,不通过审查它们无法知道它们的功能或能力。" — @petcat
这些言论凸显了对执行、潜在企业利益、测试结果缺乏清晰度以及尽管表面上反对禁令但这些提议可能实际上限制开放的担忧。
相关的 Anthropic 公告
抓取的内容还指出其他最近的 Anthropic 更新:
- 与 Cognizant 的合作扩展,将 Claude 带给企业客户。
- Claude Opus 5 的发布,被描述为 Opus 层级的一步飞跃改进,为长期运行的代理提供动力,在编码和专业工作方面有所提升。
- 分享 Anthropic Economic Futures Research Fund 的研究议程。 这些项目被作为独立的新闻呈现,与该立场声明并列。