OpenAI Applied AI Research：关于 AGI、安全性和持续学习的观点

AGI 与实现人类水平生产力的路径

Artificial General Intelligence (AGI) 被定义为能够在大多数具有经济价值的工作上超越人类的 AI。AGI 的实现预计将带来三大社会效益：全面自动化重复且非创新的任务以提升生产力、通过增强的数据分析和决策支持加速科学突破，以及开发能够安全高效地与物理世界交互的 AI。

虽然扩大模型规模和数据是当前进展的关键驱动力，但规模化并非实现 AGI 的唯一要求。当前最紧迫的挑战是对齐和安全性，核心在于能够有效传达目标并确保模型可引导且可控。

AI 安全性和偏差缓解的进展

确保大规模预训练语言模型的安全部署需要积极缓解人类生成的训练数据中存在的缺陷和偏见。由于模型吸收了现实世界的统计数据和社会偏见——例如 DALL·E 在“护士”这一词汇下仅生成女性角色，或在“教授”一词下仅生成白人——因此需要专门的安全流水线。

OpenAI's Applied AI Research team 已实施了若干关键安全举措：

• 内容评估：设计评估数据和任务，以评估预训练模型是否生成仇恨、性暗示或暴力内容。
• 内容审核：创建详细的分类体系和分类器，以检测不良内容并识别该内容不适当的具体原因。
• 输出引导：开发技术以降低模型生成不安全输出的可能性。
• 偏差降低流水线：实现降低社会偏见的流水线，并结合人类在环的评估工作流。

机器人技术和强化学习的技术里程碑

深度强化学习 (RL) 与广泛的领域随机化相结合，可使机器人在无需真实世界训练数据的情况下执行复杂的物理任务。这一方法的主要案例是成功训练出单个类人机器人手完成魔方破解的项目，该项目需要在仿真、RL 训练、视觉感知和硬件固件之间进行紧密集成。

持续学习与跨学科启发的作用

持续学习以及跨领域思想的融合被视为扩展 AI 研究潜在解空间的关键。这种方法体现在以下几个方面：

• 跨学科研究：从深度学习之外的领域汲取灵感，例如作家的坚持、外科医生的细致以及拥有“疯狂想法”的创业者思维。
• 知识文档化：通过公开博客整理学习笔记，并通过向他人传授来确保对知识的掌握。
• 协作团队工作：优先消除“阻碍”，并承担必要任务，无论其表面声望如何，以最大化整体团队生产力。

SUMMARY: OpenAI Applied AI Research 团队的 Lilian Weng 讨论了通往 AGI 的路径、模型对齐与安全性的重要性，以及持续学习在 AI 开发中的作用。

TITLE: OpenAI Applied AI Research：关于 AGI、安全性和持续学习的观点