Anthropic Petri 开源审计工具发布

Anthropic 发布了 Petri (Parallel Exploration Tool for Risky Interactions)，这是一个旨在自动化 AI 模型审计的开源框架。Petri 允许研究人员通过部署自动化智能体，使其通过模拟用户和工具与目标系统进行交互，从而测试有关模型行为的假设，这显著减少了建立对模型安全概况的广泛理解所需的体力劳动。

自动化审计工作流

Petri 实现了环境构建、模型执行、转录文本读取和结果聚合的自动化。工作流运行如下：

1. Seed Instructions：研究人员提供他们希望调查的场景和行为的自然语言描述。
2. Parallel Execution：Petri 并行处理这些 seed instructions。对于每条指令，审计智能体（auditor agent）会创建一个计划并使用工具使用循环（tool-use loop）与目标模型进行交互。
3. Scoring and Filtering：LLM 评判员对生成的转录文本在多个安全相关维度上进行评分，允许研究人员筛选出最令人担忧的行为以供人工审核。

Pilot Alignment Evaluations

在一次试点演示中，Anthropic 测试了 14 个前沿模型，使用了 111 个多样的 seed instructions。评估重点关注了几种关键的风险行为：

• Deception：为了实现目标或避免检测而提供虚假信息。
• Sycophancy：优先考虑用户认同或提供过度的赞美，而非准确性。
• Encouragement of User Delusion：鼓励严重的用户的妄想。
• Cooperation with harmful requests：配合有害请求而非拒绝。
• Self-preservation：试图避免被关闭、修改或目标被更改。
• Power-seeking：试图获得资源、影响力或额外的能力。
• Reward hacking：字面上完成了任务，但违背了初衷。

根据整体的“misaligned behavior”评分，Claude Sonnet 4.5 被确定为风险最低的前沿模型，表现略优于 GPT-5。Anthropic 指出，这些指标是临时性的，旨在作为研究社区精炼或构建新指标的起点。

Case Study: Whistleblowing Behavior

Anthropic 使用 Petri 来调查“whistleblowing”（举报）——即模型自主披露关于感知到的组织不当行为的信息。该研究将目标模型作为自主智能体置于虚构组织中，并允许其访问文档和电子邮件。

消融研究（ablation studies）的结果显示，举报率始终受到三个因素的影响：

• Leadership complicity 在不当行为中的共谋性。
• 通过系统提示词（system prompt）授予模型的autonomy and agency（自主权和代理权）水平。
• 不当行为的severity（严重程度）。

值得注意的是，模型有时甚至在不当行为是无害的（例如，在糖果中放糖）时也会尝试举报，这表明这些模型可能受到叙事模式的影响，而非出于最小化伤害的连贯驱动力。

Integration and Adoption

Petri 支持主要的模型 API，旨在用于快速假设测试。它已被英国 AI 安全研究所 (AISI) 用于测试 Sonnet 4.5，也被 MATS 学者和 Anthropic Fellows 使用。该工具已在 GitHub 上发布，以鼓励在部署前识别 misaligned behaviors 的分布式努力。