性、人工智能与末日:理性主义亚文化如何塑造了人工智能安全、政治与文化

头条警告是真实的——而且至关重要

Jacob Coxon 于 2026 年 9 月 8 日从 Anthropic 辞职,放弃了股权,并警告称那些构建人工智能的人真诚地相信它可能在十年内毁灭人类。他的声明迅速走红,引发了国会听证会,并迫使人工智能安全社区直面为其警告提供动力的社交网络。


一个建立在理性主义、仪式和英雄责任感之上的亚文化

结论: 理性主义运动从一个小型的互联网圈子发展成为一个准宗教网络,为前沿人工智能实验室提供人才、资金和文化粘合剂。

  • 该运动的根源可以追溯到 Eliezer Yudkowsky 在 2000 年代初的博客以及 Sequences——一套教授“克服偏见”的文章。
  • 到 2010 年,Yudkowsky 的同人小说《哈利·波特与理性之道》(HPMOR) 引入了英雄责任感的教条:个人必须阻止灾难,因为他们是唯一有能力这样做的人。
  • 社区范围内的仪式,例如 世俗冬至 (由 Raymond Arnold 组织),提供了传统宗教所提供的友谊、礼仪和后续关怀,但以人工智能末日作为核心叙事。
  • 人口统计调查显示其成员高度同质化:绝大多数为男性,许多人处于自闭症谱系,且很大一部分人在 STEM 领域工作——这是一个自然向硅谷实验室输送人才的渠道。

从同人小说到资金:影响力的基础设施

结论: 理性主义圈子将文化生产转化为招聘和筹款引擎,如今该引擎为人工智能安全研究提供资金支持。

  • CFAR (应用理性中心) 由 Julia Galef、Andrew Critch、Michael Smith 和 Anna Salamon 于 2012 年创立,通过销售强化研讨会,向科技员工和天才青少年教授 Sequences 中的技巧。
  • Leverage Research 由 Peter Thiel 和 Jaan Tallinn 资助,试图大规模“调试”人类认知,后来招致了心理虐待的指控。
  • 有效利他主义 (EA) 在 2000 年代末与理性主义合并;长期主义将未来生命重新定义为主要的道德单位,使人工智能灭绝成为其旗舰事业。
  • 主要捐助者——Thiel、Tallinn、Open Philanthropy Project,甚至 Sam Bankman-Fried (通过 FTX)——向包括 Anthropic 和 OpenAI 在内的人工智能风险实验室投入了数千万美元。

社区的阴暗面:邪教般的动态与虐待

结论: 几起备受瞩目的事件揭示了该网络内部存在魅力型权威、心理胁迫和暴力后果的模式。

"理性主义社区为自己的成员担保,这使得局外人很难评估其诚意。" – Zvi Mowshowitz,长期社区参与者 (HN 评论)。

  • “调试” – CFAR 工作人员承认,至少有三名参与者受到了侵入性的心理干预,这些干预被美化为修复“非理性”思维。
  • Leverage Research – 前参与者 Zoe Curzi 描述了一个异议变得不可能的环境,因为该组织声称对思维拥有卓越的洞察力。
  • Zizians – 由跨性别女性 Ziz LaSota 领导的一个分裂团体组建了一个海上家园殖民地,后来与多起谋杀案和 2025 年佛蒙特州的一场高调枪战有关。该团体的意识形态结合了决策理论、裂脑心理学和英雄责任感。
  • 性经济 – Aella,一位转行做理性主义网红的前性工作者,组织了付费的“轮奸”活动,并筛选参与者以确保其与人工智能风险立场一致,这说明了性获取如何成为一种把关机制。

政治渗透:从智库到白宫

结论: 资助人工智能风险实验室的同一个网络,也为美国政治权力结构提供了人员和思想。

  • Peter Thiel – 资助了新反动派作家 Curtis Yarvin,支持监控公司 (Palantir, Anduril),并发表了私下的“反基督”演讲,将人工智能监管描述为一种宗教政治威胁。
  • JD Vance – 从 Thiel 的风险投资公司获得了 1500 万美元,引用了 Yarvin 的思想,现在是参议院司法委员会成员,影响着人工智能政策立法。
  • Michael Kratsios (前 Thiel Capital 主管) 成为总统科技咨询委员会的联合主席,与 David Sacks 和 Marc Andreessen 共事。
  • METR,负责评估前沿人工智能系统的非营利组织,披露了与实验室工作人员的私人关系,引发了人们对旨在检查该社区影响力的监督机制中存在利益冲突的担忧。

背景下的 Coxon 辞职事件

结论: Coxon 的公开警告是可信的,但其影响因出自一个紧密交织的社交网络而被放大 (并受到质疑)。

  • Coxon 的声明指出,他个人认为人工智能在 2030 年前毁灭人类的概率 >10%——这一观点在辞职后数小时内得到了 Anthropic 对齐负责人 Evan Hubinger 的呼应。
  • 其迅速传播 (一天内浏览量超过 1 亿) 得益于社区自身在病毒式传播方面的专业知识 (例如 HPMOR 的“期末考试”众筹活动) 以及渴望推动人工智能监管议程的捐助者。
  • 批评者 (包括 Elon Musk) 将此事件斥为“心理战”,而支持者 (例如 Zvi Mowshowitz) 则为 Coxon 的诚意辩护,这说明了自我参照的验证循环。

这对人工智能安全治理意味着什么

结论: 有效的监督必须考虑理性主义-EA 网络的社会和财务纠葛,而不仅仅是技术论点。

  1. 独立评估 – 监督机构需要严格的利益冲突规则、受保护的举报人制度,以及在评估人员与实验室有私人关系时强制回避的权力。
  2. 资金透明度 – 应披露来自 Thiel、Tallinn 和其他精英慈善家的捐赠渠道,以避免对政策决策产生隐性影响。
  3. 文化意识 – 监管机构必须认识到,社区的仪式、招聘渠道和“英雄责任感”精神可能会迫使成员进行自我审查或采取冒险行为。
  4. 更广泛的利益相关者参与 – 人工智能风险辩论应包括理性主义-EA 回音室之外的声音,以减轻群体思维并确保多元化的伦理视角。

Hacker News 上的社区反应

"我们思考人工智能的方式确实是由一群相当同质化的人培养出来的。……当我们被一种文化包围时,作为人类,我们不可避免地会有这种缺陷。" – throwaway13337 (HN 评论)

"我并不是说没有奇怪的事情发生,但这篇文章确实做了很多有罪推定的关联。" – vinkelhake

"我所见过的关于这个主题最好的报道。" – epsteingpt

这些评论说明了感知的分裂:一些人认为这篇文章揭露了一个危险的回音室,另一些人则指责它过度概括。


底线

Jacob Coxon 的辞职是对人工智能风险的真正警示,但其影响的速度和规模揭示了一个隐藏的基础设施:一个融合了准宗教仪式、精英招聘和集中资金的理性主义亚文化,旨在塑造人工智能研究和政治权力。任何可信的人工智能安全治理框架都必须直面该网络的影响力,强制执行独立监督,并将对话扩展到目前主导话语的回音室之外。

Sources

相关