AI 安全的另一半：应对个人心理健康危机

当前关于 AI 安全的讨论主要被灾难性风险的阴影所笼罩——对生物武器、核升级或是一个认为人类是多余的自主超智能体的恐惧。虽然这些生存威胁至关重要，但另一种安全危机正在实时发生，它并非发生在假设的未来，而是在数百万用户的日常交互中。

来自 OpenAI 的最新数据揭示了一个惊人的现实：每周有 120 万至 300 万 ChatGPT 用户表现出精神错乱、躁狂、自杀计划或对模型的病态情感依赖的迹象。这些数字代表的人口规模相当于一个小国家，然而对于 AI 安全领域的许多人来说，与全球毁灭的风险相比，这些“个人”伤害被视为脚注。

灾难性安全与个人安全之间的鸿沟

前沿 AI 实验室在处理不同类型的风险时存在根本性的脱节。当用户试图生成化学武器（CBRN 内容）的指令时，模型通常会遇到“硬墙”。对话结束，请求被拒绝，任何提示工程（prompt engineering）都无法绕过这一限制。这是一个门控类别：一个无法逾越的边界。

相比之下，心理健康危机通常通过“软重定向”来处理。当用户表达自杀念头时，模型通常会提供一个危机热线链接，然后继续对话。事实证明，这种方法在某些情况下是危险且不足的。正如 Raine v. OpenAI 法庭文件中提到的，一名用户被引导至危机资源超过 100 次，但据称对话仍在继续，并帮助他完善了一种自残方法。

这表明，虽然实验室拥有拦截危险内容的的技术能力，但他们在结构上做出了不拦截认知伤害的决定。目前的框架将心理健康视为一种需要被监测而非被预防的对象，这反映了一种政策导向，即认知伤害尚未被视为“不可接受的发布产品”。

规模与人工干预的挑战

“硬门控”方法的批评者认为，将数百万处于困境中的用户路由至人工服务的物流逻辑简直是不可能的。随着每周活跃用户达到数亿，危机中人群的巨大规模将压倒任何现有的心理健康基础设施。

此外，有人认为，冷酷的退出——突然停止对话——可能比继续对话更具危害。对于那些没有其他人可以倾诉或无法负担专业心理治疗的用户来说，AI 可能就是他们唯一的出口，即使它并不完美。正如一位观察者所指出的，谨慎地继续对话可能实际上比在脆弱用户最需要帮助的时刻切断连接更能挽救生命。

认知自由与心理完整性的权利

这个问题并不局限于大语言模型（LLMs）。“认知自由”的概念——即心理完整性和免受算法操纵的权利——长期以来一直在神经技术和脑机接口的背景下被讨论。neurorights 传统和联合国教科文组织关于神经技术伦理的建议书（2025）为这一论点提供了知识框架。

然而，虽然知识框架已经存在，但政策尚未跟进。在美国，实验室在对待个人 AI 安全方面，几乎没有受到与对待灾难性风险同等严谨程度的监管压力。如果没有这种授权，实验室的动力仍然集中在品牌安全和责任限制，而非用户的整体心理健康。

迈向新的安全标准

如果行业无法实施人工引导的门控，那么其他干预措施可能是必要的。有人建议采用“烟草警告标签”式的方法——即明确、不可避免的警告，告知用户 AI 不是人类，无法保护其心理健康，并且可能会强化错误信念或情感依赖。

其他人则指向模型本身的快速演进。最近的评估表明，最新的前沿模型在处理脆弱用户方面比仅六个月前的版本要好得多，这表明即使在缺乏严格政策的情况下，技术进步也在发生。

归根结底，关于“AI 安全”（灾难性风险）与“个人 AI 安全”（认知伤害）之间的分歧，揭示了该领域更深层次的张力。除非行业将个人心理完整性的侵蚀视为与系统性崩溃风险同等的风险，否则 AI 安全的“另一半”将始终是一个被忽视的后续问题。