OpenAI 超级智能治理提案
OpenAI 提出了一个超级智能治理框架，以确保高度能力的 AI 系统的开发安全，并顺利融入社会。该提案侧重于开发者之间的协调、建立国际监管机构以及开展技术安全研究。
国际协调与发展速度
为保持安全并确保社会融合，OpenAI 建议领先的 AI 开发工作必须进行协调。这种协调可以采取多种形式，包括将当前工作整合到政府主导的项目中，或达成集体协议，将前沿 AI 能力的增长率限制在特定的年度比例。
OpenAI 强调，在此过程中，个别公司必须遵守极高的负责任行动标准。
建立全球监管机构
OpenAI 提议创建一个类似国际原子能机构（IAEA）的国际监管机构，以监督超级智能的相关工作。该机构将在系统超出特定能力或计算阈值时启动。
该提议机构的关键职能包括：
- 检查系统并要求审计。
- 测试是否符合安全标准。
- 对部署水平和安全等级设置限制。
- 跟踪计算和能源使用，以确保可实施性。
提案指出，该机构应专注于降低生存风险，而不是处理各国应自行管理的问题，例如内容审核政策（定义 AI 应该被允许说什么）。
技术安全与公众监督
确保超级智能的安全目前仍是一个未解的研究问题。OpenAI 和其他组织正投入大量精力解决这一技术挑战，以实现超级智能的安全。
除了技术安全之外，强大系统的治理及其部署决策必须包含强有力的公众监督。OpenAI 主张通过民主程序确定 AI 系统的边界和默认设置，同时保持个人用户在这些既定边界内对 AI 行为拥有显著控制权。
开发超级智能的理由
OpenAI 确认了在尽管存在风险的情况下继续开发此技术的两个主要原因：
- 社会利益：该技术预计将带来显著的经济增长、提升生活质量，并在教育、创意工作和个人生产力等领域提供复杂全球问题的解决方案。
- 不可避免性：OpenAI 认为，阻止超级智能的产生将是“直觉上风险高且困难”的。由于开发成本下降、参与者数量增加以及当前技术轨迹，停止它将需要一个全球监控体系，而该体系仍可能失败。因此，重点必须放在正确地进行开发上。
Sources
- OriginalGovernance of superintelligence