性、人工智能与末日：一个理性主义亚文化如何塑造了人工智能安全、政治与争议

头条警告及其立即引发的连锁反应

Jacob Coxon 于 2026 年 9 月 8 日辞去 Anthropic 的职务，公开表示“那些正在构建人工智能的人真诚地相信，它可能在本十年末杀死我们所有人。” 他的辞职声明迅速走红（一天内播放量超过一亿次），并被政界人士、Elon Musk 以及主流媒体广泛传播。数小时内，Anthropic 的对齐负责人 Evan Hubinger 确认了该实验室内部对十年内人类灭绝概率超过 10% 的估计。

推动警告的理性主义亚文化

最响亮的 AI 末日论者属于一个存在了 25 年的互联网亚文化，他们自称是 理性主义 社区。该运动起源于 2000 年代初的论坛（如 LessWrong），围绕一系列核心理念发展而来：

英雄式责任 – 理解风险的个人必须采取行动防止灾难。
《序列》 – 一套旨在克服偏见的论文课程，承诺带来更清晰的思维。
仪式与符号 – 如 世俗冬至节（一年一度的“末日”仪式）以及《哈利·波特与理性之法》（HPMOR）等粉丝小说，这些作品嵌入了该社区的世界观。

这些文化技术将成员紧密联系在一起，提供归属感，并建立了一种“理性主义者”身份作为判断力优越的象征的等级体系。

关键人物及其影响力

人物	角色	重要贡献
Eliezer Yudkowsky	奇点研究所（现为 MIRI）创始人，HPMOR 作者	普及了人工智能灭绝风险；创造了“英雄式责任”的叙事。
Scott Alexander	博主（Slate Star Codex）及理性主义思想的阐释者	将理性主义思想带入更广泛的科技受众；将人工智能风险与主流硅谷联系起来。
Curtis Yarvin（Mencius Moldbug）	新反动派作家	引入了反民主的“拼贴”概念，后来在部分理性主义者中产生共鸣。
Raymond Arnold	世俗冬至节组织者	建立了社区的主要仪式，将人工智能末日塑造成类似宗教的事件。
Peter Thiel	十亿富翁投资者、慈善家	资助 MIRI、Yarvin 的 Tlon 以及反民主项目；泄露了针对人工智能监管者的“反基督”讲座。
Jaan Tallinn	慈善家	资助 MIRI、人类未来研究所及有效利他主义（EA）项目，将长期主义资助与人工智能风险联系起来。
Aella	前性工作者转型的研究员，AI 末日内容创作者	与 Grimes 共同运营“求你别杀我们”驻留项目；展示了性网络如何与人工智能安全圈交织。

从粉丝小说到有组织的行动

HPMOR（共 122 章，66.1 万字）成为许多未来人工智能研究者的入门途径。其高潮部分“期末考试”挑战动员了数千名读者在时限内解决一个谜题，展示了该社区在众包复杂任务方面的实力。该小说作者的注释还推广了应用理性中心（CFAR），该中心将《序列》转化为线下工作坊。

机构外溢：人工智能实验室、慈善与政策

MIRI 和 人类未来研究所（Bostrom）将理性主义关切转化为学术研究，吸引了数十亿美元的捐赠资金（如 Open Philanthropy、Thiel 基金会）。
有效利他主义（EA） 通过 长期主义 与理性主义融合：未来个体的福祉高于当下个体的福祉，使人工智能灭绝成为首要资助议题。
CFAR 向科技公司（Facebook、Thiel 支持的初创企业）和有天赋的青少年出售“调试”工作坊，模糊了个人发展与企业招聘之间的界限。
Leverage Research 和 Black Lotus 试图“理解心智”，但被指控实施心理虐待和类似邪教的控制。
Zizi LaSota 及其追随者（“Zizians”）将社区教义转化为暴力行动，导致多起谋杀案及 2025 年佛蒙特州一场高调枪战。

政治渗透

理性主义-EA 通道将资金与思想注入美国政治：

Sam Bankman‑Fried（FTX）是 EA 的产物，他在 2025 年定罪前，将非法利润注入 Anthropic 和人工智能风险资助项目。
Peter Thiel 资助反民主运动、Gawker 的诉讼案，以及将人工智能监管描绘为宗教式压迫的“反基督”讲座。
JD Vance（美国参议员）从 Thiel 的风险投资公司获得 1500 万美元，并在政策演讲中引用 Yarvin 的反官僚主义思想。
Michael Kratsios（前 OSTP 主任）和 David Sacks（科技政策委员会联合主席）是 Thiel 网络的任命者，显示该网络已渗透至联邦科学政策领域。

监督中的利益冲突

非营利组织 METR 被委以评估前沿人工智能系统的任务，其 2026 年风险报告披露，员工与实验室雇员存在密切个人关系，引发对其独立性的质疑。同一小群体（前同事、室友、配偶）经常同时担任评估者与被评估者，严重削弱了外部问责机制。

社区的批评与自我反思

CFAR 在 2019 年公开道歉，承认在处理 Brent Dill 的性侵指控时失职，承认尽管具备判断力专长，仍未能保护受害者。
前成员经常发布“退出帖”，描述心理伤害、胁迫性关系，以及在一个专业、浪漫与住房关系交织的网络中难以脱身的困境。
原文评论者指出对群体思维、牵连定罪的担忧，强调应基于人工智能风险本身而非其倡导者的个人特质来评估该风险。

为什么 Coxon 的辞职至关重要

Coxon 的离职揭示了两个事实：

警告的可信度 – 即使 Anthropic 本身的对齐负责人也确认了实验室对高存在性风险的估计，表明这一威胁在领先的人工智能公司内部受到高度重视。
协调的感知 – 批评者（包括 Elon Musk）将病毒式传播视为一种有组织的心理战，指出该社区密集的资金与沟通网络是可能策划的证据。

两种解读都合理，因为理性主义圈是一个 高度纠缠的社会图谱，同一群人既资助、又指导并推广彼此的项目。

更广泛的启示

理性主义社区展示了小众亚文化如何演变为一个 强大的认知精英群体，从而塑造技术、慈善与公共政策。其优势——严谨的推理、众包式问题解决、长期主义动机——被以下问题所抵消：

资格崇拜，将“理性主义者”等同于“判断力优越”。
类似邪教的动态（仪式、英雄式责任、心理调试）可能压制异议并助长滥用。
影响力集中，在监督机构中造成利益冲突。

理解这一网络对于任何评估人工智能安全主张、设计监管框架或评估主导人工智能末日叙事声音的正当性都至关重要。

以上分析仅基于公开报道及作者自身引用。错误或遗漏可发送至作者邮箱。