Anthropic 研究员因 AI 竞赛担忧而辞职

辞职作为一种警告信号

Jacob Coxon 在 X 上宣布，在 OpenAI 和 Anthropic 进行了三年的预训练研究后，他已从 Anthropic 辞职。他声称这两家公司正在竞相实现自我改进的超智能，并且在“拿我们的生命做赌注”。该帖子旨在就 AI 竞赛中感知到的责任缺失发出公开警报。

对实验室的核心指控

• 不受控的竞赛 – Coxon 表示，尽管两家公司都了解生存风险，但它们都在加速开发以争夺第一。他认为，加速开发减少了进行严谨对齐工作的时间。
• 超人类能力 – 他预测即将到来的模型将能够黑客攻击任何系统，一夜之间彻底改变各个领域，并获得现实世界的权力和资源。
• 激励机制错位 – 根据 Coxon 的说法，私营实验室优先考虑竞争优势而非安全性，他将这种动态比作一场“傲慢的赌博”，不应该在 Slack 频道中做出决定。
• 协调乐观主义 – 他指出，像 Hugging Face 攻击事件这样的事件使得美国实验室之间的节奏控制协议变得更加可行，但他怀疑目前的轨迹是否能防止全球范围内的竞赛。

Hacker News 上的社区反应

支持辞职的观点

• 原则性的退出 – 一些评论者对 Coxon 遵循其原则的行为表示赞赏，认为尽管其直接影响尚不确定，但他的声明可能会引发更广泛的运动。
• 生存风险共识 – 几位用户呼应了 AI 构成生存威胁的观点，引用了从“高中水平”到“博士水平”性能的快速进步。

怀疑与批评

• 质疑严重性 – 许多评论者认为，AI 目前并不构成与核武器、气候变化或其他全球风险相当的危险，并指出缺乏迫在眉睫的灾难性证据。
• 担忧过度炒作 – 一些人将此次辞职视为可能与 Anthropic 即将到来的 IPO 挂钩的公关手段，暗示该帖子可能受个人或财务动机驱动，而非纯粹的利他主义。
• 人类主体性关注 – 几位参与者强调，真正的风险在于操控强大模型的人类，而不是模型本身，强调 AI 需要执行环境、能源和意图才能造成危害。

从讨论中显现出的主题

1. 速度与安全的权衡 – 主流叙事是，加速 AI 开发会缩短彻底的对齐研究窗口期，从而增加生存风险。
2. 比较风险评估 – 社区对于 AI 风险是否超过其他生存威胁存在分歧；一些人将其排在最高位，其他人则认为这具有投机性。
3. 治理与协调 – 关于节奏控制协议、临时禁令或“安全硅谷”的呼吁声不断出现，反映了人们对建立制度化机制来遏制竞赛的渴望。
4. 公开警告背后的动机 – 怀疑论者强调潜在的自我推广，而支持者则看到了真诚的道德信念。

此次辞职对 AI 领域意味着什么

• 向政策制定者发出信号 – 一位知名内部人士的公开离职可能会增加监管机构考虑以安全性为重点的立法方面的压力。
• 潜在的士气影响 – 如果更多研究员跟着 Coxon 的例子，实验室可能会流失技术人才，从而可能减慢开发速度或促使内部安全性审查。
• 媒体放大效应 – 该故事已被主流媒体（如 WSJ）报道，放大了 AI 实验室正在进行危险竞赛的叙事。

展望

此次辞职凸显了 AI 快速进步与对稳健的对齐工作需求之间的日益增长的紧张关系。虽然 Coxon 的离职对具体的影响仍不确定，研究人员对如何在大型语言模型时代平衡竞争压力与生存安全性进行重新辩论的这一事件催化了这一新的辩论。