OpenAI 嵌入式评估第一阶段概览

嵌入式评估概述

OpenAI 已启动新一轮安全评估,授予四家独立评估机构——Apollo Research、METR、Transluce 和 Goodfire——对其内部模型、训练数据和监控系统的深度访问权限。该项目旨在提供对模型对齐性和安全防护措施有效性的独立验证,支持公司更广泛的安全案例以及在白宫超级智能协议下的承诺。

合作机构与重点领域

每家评估机构都为合作带来了独特的关注点,涵盖从颠覆检测到可解释性和评估质量等方面。

Apollo Research

Apollo Research 将调查模型是否可能暗中违背开发者意图。其评估涵盖四项主要声明,包括训练是否激励颠覆行为,以及当前的对抗性测试技术是否足以检测此类行为。

Goodfire

Goodfire 将专注于训练运行监控和对齐性。通过嵌入可解释性研究人员并利用其专有平台,他们旨在为 OpenAI 的内部研究团队提供可操作的见解,以改善训练过程中的安全性。

METR

METR 正在进行两项具体评估。第一项聚焦于 OpenAI 迄今为止最大规模的强化学习(RL)运行中的模型对齐性,特别寻找现有监控器遗漏的失败情况。第二项是先前工作的延续,涉及监控器压力测试和控制评估。

Transluce

Transluce 将评估 OpenAI 训练后对齐评估的质量和覆盖范围。这一初始阶段之后,将在 2027 年初进行更广泛的合作,届时将更深入地获取有关评估结果如何影响模型发布决策的信息。

操作协议与安全

为了在透明度和保护敏感知识产权之间取得平衡,OpenAI 为这些合作制定了具体协议:

  • 现场环境: 需要访问敏感信息的评估机构必须在 OpenAI 办公室使用公司提供的硬件进行现场工作,以确保安全标准得到维护。
  • 监督: OpenAI 基金会董事会的安全与安保委员会(SSC)对整个过程拥有完全可见性,包括访问未删节的报告。OpenAI 与评估机构之间的争议将上报至 SSC 进行最终解决。
  • 员工互动: 评估机构与 OpenAI 员工之间的讨论以非记录形式进行,以鼓励坦诚交流。评估机构可要求 OpenAI 提供“经证明的声明”,以验证或澄清在这些讨论中获知的信息。
  • 发布: 虽然评估机构在报告中保持独立性,但 OpenAI 保留删除机密信息和要求负责任地延迟披露以修复已识别安全或安保风险的权利。

未来展望

嵌入式评估的第一阶段旨在为更一致、长期的第三方监督奠定基础。OpenAI 计划扩大这些工作,以覆盖更广泛的安全问题,包括对组织文化、内部流程以及既定安全框架合规性的评估。

Sources