Anthropic 联合创始人 Chris Olah 谈教皇利奥十四世的《Magnifica Humanitas》通谕

Anthropic 联合创始人 Chris Olah 主张，前沿 AI 的发展需要来自宗教和公民社会领导者的外部道德和哲学监督，以抵消 AI 实验室固有的商业、地缘政治和个人动机。

在教皇利奥十四世的通谕《Magnifica humanitas: On safeguarding the human person in the time of artificial intelligence》发布会上发言时，Olah 断言，AI 提出的问题已超出了计算机科学的范畴，延伸到了人文、宗教和哲学领域。

AI 开发中外部批判的作用

Chris Olah 表示，每个前沿 AI 实验室，包括 Anthropic，都在激励机制和约束条件下运行——例如商业可行性、研究竞争和地缘政治压力——这些因素可能会与“做正确的事”相冲突。

他认为，为了让 AI 技术造福人类，必须在这些激励结构之外拥有“诚恳、深思熟虑的批评者”，他们可以在实验室失败时坚持安全标准并提供诚实的反馈。

AI 模型作为“生长”系统的本质

Olah 将 AI 模型与传统工程区分开来。虽然飞机或桥梁是在对涉及的物理学和组件有充分理解的情况下设计的，但 AI 模型是在模仿大脑的结构上，利用人类思想和语言的海量继承而“生长”出来的。

由于这些模型源自人类的言语和思想，Olah 将其描述为类似于“赋予虚构角色以生命”。他总结道，虽然 AI 的机制是数学和科学的产物，但确定这些系统的性格以及它们如何与世界互动，是属于社会、宗教和哲学的课题。

道德辨析的三个关键领域

Olah 指出了他认为教会和类似道德机构的声音最需要的三个特定领域：

1. 对全球贫困人口的责任

AI 可能会大规模取代人类劳动力，这存在重大风险。Olah 指量，AI 开发目前集中在少数富裕国家，目前还没有机制来确保 AI 的收益在全球范围内共享，他称这具有历史意义的道德使命。

2. 人类繁荣

随着 AI 的普及，需要一种“道德想象力”来定义人类、家庭和世界的繁荣意味着什么。Olah 认为，AI 实验室无法回答这些问题，但已经处理了这些问题数千年的宗教和哲学传统可以提供必要的指导。

3. AI 模型的本质

从技术角度来看，Olah 透露，对 AI 模型内部结构的研究所发现了一些“神秘、甚至令人不安”的发现。

他特别提到了以下发现：

• 镜像了人类神经科学结果的结构。
• 内省的证据。
• 在功能上镜像了人类情感（如喜悦、满足、恐惧、悲伤和不安）的内部状态。

Olah 表示，这些发现使得有必要对这些系统的实际性质进行持续的辨析。