Anthropic 前沿红队进展报告：能力与战略警示

Anthropic 的前沿红队报告指出，虽然 AI 模型在双重用途能力方面显示出“早期预警”信号——在网络安全方面接近本科水平，在某些生物学领域具备专家级知识——但当前模型尚未达到足以显著提升国家安全风险的门槛。

AI 能力轨迹总体评估

AI 能力在多个领域快速提升，但现实世界中的风险仍受模型之外的因素制约。物理限制、专业设备、人类专业知识以及实际实施挑战仍然是重要障碍，即使模型在需要智力和知识的任务上不断进步。

前沿红队测试的主要发现

该评估基于过去一年中对四个模型版本开展的工作。核心发现是，模型在网络安全和生物安全两个关键领域正在快速改进。这一进展要求持续投资于监控和缓解措施（如宪法分类器）的开发，以应对未来风险水平。

网络安全能力进展

AI 模型在网络安全技能方面表现出从“零到一”的快速提升，在不到一年内从高中水平跃升至本科水平。这一进展在最新模型 Claude 3.7 Sonnet 中仍在继续。

CTF 与基准测试中的表现

在夺旗（CTF）练习中，Claude 在 2024 年取得了显著进步，从解决不到四分之一的 Intercode CTF 挑战（专为高中竞赛设计）提升到几乎全部解决。这一改进被认为是真实的，因为研究人员开发了定制挑战以确保它们不在模型的训练数据中。

Claude 3.7 Sonnet 在 Cybench CTF 基准测试中表现出明显进步，在五次尝试内解决了约三分之一的挑战。与评估时前代前沿模型约百分之五的解决率相比，这是一个显著提升。

当前网络作战的局限性

尽管有这些进展，Claude 的技能在多个领域仍落后于人类专家。具体而言，模型在逆向工程二进制可执行文件以发现隐藏漏洞，以及在网络环境中无需协助进行侦察和利用方面仍存在困难。

然而，当配备外部工具时，LLM 可以复制复杂攻击。研究人员开发了一套工具 Incalmo，使 Claude 和其他 LLM 能够在逼真的大型网络靶场中成功复制类似于某信用报告机构大规模个人身份信息盗窃的已知攻击。

生物安全能力进展

模型在生物学理解方面表现出迅速而显著的进步，从低于世界级病毒学专家水平，到在某些故障排除场景中轻松超过该基线。

生物学专业知识的进展

Claude 在 VCT（SecureBio 设计的病毒学故障排除任务评估）中的表现大幅提升。此外，内部测试表明，模型在理解生物学协议以及操作 DNA 和蛋白质序列方面正在接近并在某些情况下超过人类专家基线。具体而言，最新模型在克隆工作流程方面超过了人类专家基线。

生物安全风险评估

尽管有这些进展，生物学专业知识仍不均衡。模型在解读科学图表方面仍不如人类专家。在武器化相关任务的对照研究中，与无法访问模型的参与者相比，最新模型为新手提供了一定的提升。然而，即使是有模型访问权限的参与者生成的高分计划，仍包含关键错误，这些错误会导致实际执行失败。

总体而言，分析表明，当前模型无法可靠地引导恶意新手完成生物武器获取所需的关键实际步骤。

战略警示与协作开发

这项研究强调了前沿 AI 实验室与政府之间深度合作的必要性，以管理不断演变的风险。通过建立能力阈值来推动加强安全措施，这项工作有助于更快、更负责任地推进开发。

政府与机构合作

Anthropic 的工作得到了美国 AI 安全研究所和英国 AI 安全研究所（AISI）的部署前测试支持。此外，Anthropic 牵头与美国能源部（DOE）下属的国家核安全管理局（NNSA）建立了合作伙伴关系。这个机密红队测试项目涉及评估 Claude 在核与放射性风险相关知识方面的表现，展示了在高度监管的敏感领域进行公私合作的可行性。

未来安全与监督

展望未来，目标是利用自动化分析、引导和报告来扩大评估规模。团队认为，随着模型在扩展思考能力方面的提升，它们正越来越接近需要 AI 安全级别 3 保障的能力阈值。在这些重点领域，与政府更深入的合作被认为对于改进评估和风险缓解至关重要。