OpenAI 对 AGI 及其未来的规划

OpenAI 正在采用渐进部署和迭代学习的策略，以安全地引导通用人工智能（AGI）的出现。这一做法旨在避免突如其来的转变冲击，让政策制定者、机构和公众能够适应强大 AI 带来的经济和社会变化。

渐进部署与迭代学习

OpenAI 主张对 AGI 进行渐进式过渡，而非一次性突变。这种增量方式为社会提供了必要的时间来了解 AI 的益处与弊端、调整经济结构并制定适当的监管措施。

该部署策略的关键要点包括：

• 快速反馈回路：OpenAI 认为，通过快速学习和谨慎迭代的紧密反馈回路，是应对部署挑战（如偏见和岗位流失）的最佳方式。
• 民主化访问：该组织通过 API 和开源推动更广泛的 AI 使用，以分散权力并鼓励更大范围的贡献者提供新想法。
• 基于风险的审慎：随着系统接近 AGI，OpenAI 正在提升审慎程度。组织假设 AGI 及其后继系统的风险可能是生存性的。
• 部署阈值：OpenAI 表示，如果负面因素（如助长恶意行为者或加速不安全竞争）的平衡倾向于不利，可能会显著改变其持续部署计划。

对齐与可控性

OpenAI 致力于打造日益对齐且可控的模型，并以从最初的 GPT-3 到 InstructGPT 与 ChatGPT 的转变为早期示例。

为确保安全与控制，OpenAI 正在实施以下措施：

• 用户自主与边界：虽然组织寻求在 AI 使用的广泛边界上达成全球共识，但它计划在这些边界内赋予用户显著的自主权。产品可能会有受限的“默认设置”，但用户能够更改 AI 行为。
• 先进的对齐技术：OpenAI 计划利用 AI 帮助人类评估复杂的模型输出并在短期内监控系统，最终使用 AI 开发新的对齐技术。
• 安全与能力的协同演进：OpenAI 主张安全与能力并非对立二元，而是相关联的，因为最好的安全工作往往来源于与最强模型的合作。然而，组织强调安全进展相对于能力进展的比例必须提升。

治理与全球协作

OpenAI 希望推动全球就 AI 系统治理、利益公平分配以及访问公平共享展开对话。

为使激励与积极成果保持一致，OpenAI 实施了若干结构性措施：

• 章程承诺：OpenAI 章程中的一项条款承诺组织将协助其他专注安全的机构，而非在后期 AGI 开发上进行竞争。
• 收益上限：对股东回报设定上限，以防止追求无限价值的动机，这可能导致部署灾难性危险系统的风险。
• 非营利治理：OpenAI 由非营利实体治理，使其能够将人类福祉置于营利利益之上，包括在安全考量下取消对股东的股权义务的可能性。

独立监督与公共标准

OpenAI 支持在新系统发布前进行独立审计。组织建议在未来系统的训练开始前可能需要独立评审，并且在高级别的研发中可能需要同意限制新模型计算增长的速率。

拟议的公共标准包括：

• 停止训练的标准：何时应停止 AGI 项目的训练运行的标准。
• 发布安全：决定模型何时安全可发布的标准。
• 生产回撤：何时应将模型从生产使用中撤回的标准。
• 政府洞察：认为主要世界政府应对超过一定规模的训练运行拥有洞察权。

通往超级智能的路径

OpenAI 将 AGI 视为智能连续体上的一个点。如果以当前速度继续推进，世界可能会发生剧变，且与未对齐的超级智能 AGI 或拥有决定性超级智能优势的专制政权相关的风险将异常巨大。

特别关注能够加速科学的 AI，因为这可能导致“快速起飞”，即 AGI 加速自身进步。OpenAI 认为，较慢的起飞更易于实现安全，并且在关键节点上，各 AGI 项目之间的协同减速对于确保社会有足够适应时间至关重要。