Anthropic 在新三级独立评估框架下授予 METR 员工级访问权限
TL;DR:Anthropic 于 2026 年 10 月 15 日宣布,已开始向六名 METR 员工授予其内部系统的员工级访问权限,以便该非营利组织能够独立评估其前沿模型的风险并发布结果。这一安排是 Anthropic 新的第三方评估者三级框架的首个具体实例,Anthropic 表示自愿嵌入评估者,并认为所有前沿 AI 公司都应这样做。
Anthropic 宣布了什么
Anthropic 已开始向 METR(一个评估前沿 AI 模型的非营利组织)的团队授予员工级访问权限。METR 将发布其风险评估结果。
该公告是在两项先前承诺之后发布的。Anthropic 表示,“上个月”它承诺对其模型和安全实践进行更强有力的独立第三方评估,并且还签署了白宫超级智能协议,其中各公司承诺与独立的外部审计师或评估者合作。
Anthropic 表示,过去一年中已与 METR 就其风险报告的多次审查进行了合作。除了 METR,Anthropic 表示正与 SecureBio 和 Accenture 作为评估者合作,并正在与包括 Hugging Face 在内的其他几个组织进行早期讨论。
为什么 Anthropic 认为独立评估者是必要的
Anthropic 进行第三方评估的公开理由是它无法公开分享与其安全工作相关的所有信息。其中一些信息可能被恶意行为者利用,而另一些则属于商业敏感信息,例如计算或训练信息。
Anthropic 表示,它不是发布这些信息,而是向第三方评估者提供深度访问权限,并让他们分享有关构建其模型所涉风险的证据和推理结论。公开目标是缩小评估者对前沿 AI 公司系统的理解与公司自身理解之间的差距。
Anthropic 列出了评估者评估前沿模型所需的四项要求:
- 专业知识:具备评估前沿模型能力的能力,包括理解评估可能出错的方式,例如对齐伪造。
- 独立性:评估者不应持有被评估公司的股权,也不应在财务或运营上依赖该公司。
- 访问权限:足够的访问权限,以有意义地评估风险。除访问最新模型外,评估者还需了解这些模型的训练方式、安全防护机制的功能等。
- 发布自由:能够自由发布对模型或过程的观察和评估。
银行监管类比
Anthropic 将其方法与银行监管进行比较,同时指出类比并非完全精确。银行比外部人员更了解自身的风险状况,因此监管机构指派常驻检查员在大型银行内部工作。如果银行的风险承担可能威胁公众,第三方会试图提前发现这一点。
Anthropic 将 AI 行业的嵌入式评估视为向强健安全监管迈进的一步,并表示正与多个评估者快速推进,并积极了解哪些类型的合作有效。
在 Anthropic,“员工级访问权限”意味着什么
Anthropic 已为六名 METR 员工办理入职,配备公司硬件、办公空间,以及与其自身风险评估团队大致相当的公司内部工具和系统访问权限。
除少数明确定义的类别(Anthropic 提到客户数据、律师-客户特权信息以及模型架构信息)外,Anthropic 鼓励员工像与处理对齐风险的同事一样,与嵌入式 METR 团队分享信息。
Anthropic 表示,其与 METR 的合作仅限于在可执行协议下运作的小型团队。其他 METR 员工与该团队的工作隔离,包括在其他项目中与 Anthropic 合作的研究人员。Anthropic 将嵌入式评估描述为少数合格人员在 Anthropic 安全标准下工作的方式,以近距离了解公司运营情况,并明确表示这不是其他组织获取 Anthropic 或其客户和合作伙伴信息的方式。
发布权和删除
METR 将发布其对 Anthropic 风险水平、事件或实践的分析。Anthropic 不能否决发布,但可以要求 METR 删除属于狭窄、预定义类别的信息,例如客户数据、律师-客户特权信息或模型架构信息。
METR 可以公开描述 Anthropic 的删除行为,并说明其是否认为删除是合理的,前提是不泄露被删除的信息。
三级评估访问
Anthropic 表示正在开发三级评估者访问,并希望随着时间的推移在第三级拥有多个评估者,每个团队发布自己对 Anthropic 风险状况和关键决策的分析。
| 级别 | 访问权限 | 发布权 |
|---|---|---|
| 第一级 | Anthropic 决定提供何种访问权限 | 评估者可在 Anthropic 批准后发布调查结果 |
| 第二级 | 访问更多信息 | 评估者可在不经 Anthropic 批准的情况下发布;Anthropic 仍可要求删除特定类别的信息,评估者可发布其对删除是否合理的看法 |
| 第三级 | 员工级访问 | 发布权与第二级类似 |
与 METR 的安排属于第三级。
其他评估者合作
由于 Anthropic 的其他合作仍处于早期阶段,这些评估者获得的信息有限,发布权也有限。Anthropic 表示,这些早期合作的目标是确保合作伙伴保护机密信息,并具备评估其模型所需的资源和专业知识,并希望随着合作进展和信任建立,逐步嵌入更多独立评估者。
SecureBio 目前处于第一级。在完成并发布对之前风险报告的试点审查后,它正在审查 Anthropic 八月风险报告中关于化学和生物武器的章节。Anthropic 表示,在本次审查完成后,将考虑转向增加访问权限和发布权的项目。
Accenture 和 Faculty 正与 Anthropic 合作,以实现 Anthropic 所描述的雄心勃勃的合作伙伴关系,包括评估和红队测试模型、进行对齐评估、测试模型防护措施,以及在组织间建设能力。
Hugging Face 被列为 Anthropic 表示正在进行早期讨论的组织之一。
这对前沿 AI 监管意味着什么
Anthropic 的公告建立了一个具体、分级的机制,允许外部组织检查前沿实验室的安全实践,而无需实验室发布敏感细节。关键结构性特征是:在较高级别,发布权是保障的而非酌情决定;删除限于预定义类别;评估者可公开质疑删除是否合理。
Anthropic 表示自愿嵌入评估者,并认为所有前沿 AI 公司都应这样做。公司表示将随着进展分享更新。