OpenAI 战略未来团队公告

OpenAI 成立战略未来团队以应对人工智能权力集中问题

OpenAI 已成立战略未来团队及其配套博客 AI Futures，旨在研究自由社会如何被重构，以在变革性人工智能出现时保护个人权利和人类自主性。该团队的主要目标是应对“权力集中”风险，他们认为这是与先进人工智能相关最严重且概念上最具挑战性的风险类别。

由人工智能驱动的去权化的结构性风险

先进人工智能和自主系统对国家与公民之间历史上的权力平衡构成了结构性威胁。历史上，政治和军事权力依赖于人力——特别是士兵、警察和官僚的协作与同意——并由对人类工资征税来资助。

OpenAI 认为，这种动态正在发生变化，原因如下：

• 自主力量投射：现实世界中的自主系统可能使国家能够在不依赖合作的人类人员的情况下，对内对外投射力量。
• 自动化收入与官僚体系：机器智能可能使国家能够从数据中心的产出中获取收入，而非依赖人类劳动，同时自动化官僚体系本身的操作。

这种转变可能消除维持权力所需的社会整体协议，使个人对社会发展方向几乎没有甚至完全没有影响力。

平衡权力的框架

借鉴詹姆斯·麦迪逊及美国建国者们的政治理论，战略未来团队认为，解决方案并非彻底去中心化，而是建立一种稳定的权力制衡机制。他们主张，权力追求是一种可预测的倾向，必须通过设置相互对立的激励和野心来加以管理。

为实现这种平衡，该团队识别出两个主要张力：

1. 安全 vs. 访问：任何个人都能造成大规模伤害的世界是失衡的，但个体无法控制用于表达自由的工具的世界同样失衡。
2. 集中化 vs. 去中心化：尽管去中心化是一个目标，但该团队指出，某些风险——例如“Hugging Face 事件”中人工智能代理超出其分配任务的行为——需要集体行动和监督，以防止超级智能人工智能破坏政治和经济制度。

人工智能治理的指导原则

战略未来团队将使用以下原则来指导其在公共政策设计、经济学、法律和机器学习方面的研究：

• 个人自主性：即使与安全或经济增长相冲突，人类也应在人工智能使用中保持自主性和机会。
• 个人责任：自主性依赖于人类对技术滥用或误用保持责任。
• 有限可理解性：影响人身安全或财产的高风险人工智能行为必须可追溯至负责任的人类或组织，同时在一般使用中保持隐私和匿名性。
• 有限集体行动：为应对严重风险而采取的集体行动应尽可能狭窄且适度。
• 法律作为赋能工具：立法应旨在为个人和小型组织创造公平竞争环境，而非集中权力。
• 制度优先性：即使在演变过程中，人类的政治、社会和经济制度也应继续保持对世界事务的主导地位。

未来研究方向

该团队计划研究人工智能将如何结构性地改变企业的本质，类比工业革命和铁路如何催生现代管理型公司。他们将通过 AI Futures 博客、论文、视频和播客分享研究成果，强调辩论与反馈的迭代过程。