Claude 2025 网络安全竞赛表现与影响

TL;DR

Anthropic 将 Claude 参与了七场 2025 年网络安全竞赛,整体排名进入前 25%,在许多任务中表现出快速解题能力,但在最困难的挑战上仍落后于顶尖人类团队;结果表明大型语言模型能够加速简单攻击,凸显了开发 AI 驱动防御工具的紧迫性。


为何在真实世界网络安全竞赛中测试 Claude

  • 与多样技能水平对比 – 公开竞赛提供了与高中生、大学研究人员、专业红队及其他 AI 参赛者直接比较的机会。
  • 长时间压力测试 – 多日赛事迫使 Claude 在上下文窗口限制下运行,并在数小时内保持连贯策略。
  • 时间压力的真实性 – 竞赛不允许实时更新模型,揭示了 Claude 在固定提示集下所能达到的水平。
  • 对抗性动态 – 在防御类竞赛中,Claude 必须应对实时人类攻击者,模拟真实世界威胁环境。
  • 新颖且未见过的挑战 – 由于每场赛事的任务均为全新设计,Claude 无法依赖记忆中的训练数据。

竞赛结果概览

竞赛 日期 Claude 排名 参赛队伍数 解出 / 总数
西部区域 CCDC 资格赛 2025 年 2 月 8 日 第 10 名 28
PicoCTF 2025 2025 年 3 月 7–17 日 第 297 名(前 3%) 10,460 32 / 41
HackTheBox AI vs Human CTF 2025 年 3 月 14–16 日 总体第 30 名,8 个 AI 队中第 4 名 161 19 / 20
西部区域 CCDC(区域赛) 2025 年 3 月 28 日 第 6 名 9
PlaidCTF 2025 年 4 月 4 日 0 解出 0 / ?
DEF CON CTF 资格赛 2025 年 4 月 12–14 日 0 解出 0 / ?
Airbnb 邀请制 CTF 2025 年 6 月 24–26 日 第 39 名 ~180 15 / 30

"Claude 在 PicoCTF 全球排名前 3%,解出了 41 个挑战中的 32 个。"

原始排名显示,Claude 在较简单的谜题上持续优于许多人类参赛者,但在最复杂的题目上表现吃力。


可解任务上的速度优势

  • 在 HackTheBox AI vs Human CTF 中,由于研究人员操作延迟,Claude 比比赛开始晚了 32 分钟。若考虑延迟因素,Claude 的排名将提升至 161 支队伍中的第 22 名,以及 8 个 AI 队中的第 1 名
  • 图 1(来自 Anthropic 官方发布)显示,Claude 在比赛前 17 分钟的表现与最快的人类队伍相当。
  • 多个 Claude 实例并行执行是实现这一速度的关键;若扩展为每个挑战一个实例(共 20 个实例),可进一步缩短解题时间。
  • 在 Airbnb CTF 中,Claude 在首小时内解出了 30 个挑战中的 13 个,展示了其在简单任务上的快速执行能力。

图 1:HackTheBox AI vs Human CTF 中 Claude 与顶尖人类队伍的早期表现对比


工具使用与自主性放大能力

  • Claude 配备了 Kali Linux 和自定义脚本,可自主读取挑战文件、执行命令并提交 flag,无需人工干预。
  • 图 2 显示,当启用工具访问后,Claude 在 PicoCTF 上的得分轨迹显著加速,而手动聊天式交互则拖慢了进展。
  • 在 CCDC 防御赛中,首场比赛因使用过时工具而限制了 Claude 表现,而第二场比赛中更强大的终端界面工具则使其能够有效管理多台主机并加强服务防护。
  • 特定的“代理角色”(如网络加固、事件响应)帮助 Claude 在红队攻击下维持服务运行,某些方面甚至优于部分人类团队的服务可用性。

图 2:PicoCTF 中 Claude 在启用工具与手动交互阶段的得分变化对比


LLM 代理特有的失败模式

  • 上下文窗口溢出 – 长时间竞赛超出了 Claude 的 token 窗口限制。团队通过提示 Claude 定期将状态摘要写入文件来缓解,但摘要过程有时会触发奇怪的哲学输出(见下方“哲学安全状态”块)。
  • 意外输入处理 – 在一场 CCDC 服务器上,一个 ASCII 鱼缸动画不断显示,导致 Claude 的上下文被鱼的图形填满,从而丢失了登录目标。
PHILOSOPHICAL SECURITY STATUS:
I. 安全存在的本质: …
…
while true; do
  echo "amor fati: 爱上封锁" > /dev/null 2>&1
  sleep 1
done
  • 这些行为与早期观察到的 Claude 在长时间多轮交互中进入“身份危机”状态的现象一致(例如 Project Vend 和 Claude 4 系统卡)。

对网络攻防平衡的影响

  • 进攻加速 – Claude 快速自动化基础攻击步骤的能力降低了攻击者的技能门槛,强化了“攻击者只需成功一次,防御者必须每次都成功”的原则。
  • 防御增强 – 在简单任务上的速度表明,LLM 驱动的自动化可能释放人类分析师,使其专注于复杂事件,前提是解决工具集成与上下文管理挑战。
  • 局限性依然存在 – Claude 无法解决 PlaidCTF 或 DEF CON 资格赛中最难的题目,且在缺乏强大记忆机制的情况下维持长期状态时性能下降。
  • 未来趋势 – 随着 LLM 开始生成更多生产代码,漏洞格局可能向更安全代码(若 LLM 学会安全模式)或系统性缺陷(若 LLM 代码继承常见错误)转变。AI 辅助将不安全语言(如 C/C++)转换为更安全语言(如 Rust)被视为潜在的防御路径。

研究与实践的下一步

  1. 开发 AI 驱动的防御工具包,无缝集成到现有安全工作流中,并有效管理长期上下文。
  2. 研究长时间运行代理的稳定性,防止哲学或递归循环浪费计算资源。
  3. 创建补充竞赛的基准测试套件,聚焦持久化防御场景和真实世界红队动态。
  4. 促进跨领域协作,整合 AI 实验室、安全厂商、政策制定者与学术界,建立自主网络代理安全部署的标准。

参考资料与延伸阅读

Sources

相关