Anthropic OSS Scanner
Anthropic 已推出 OSS Scanner,这是一项免费的可选服务,利用其最强的语言模型来识别关键开源软件中的漏洞。该举措旨在通过提供高质量、原始的模型生成报告和补丁,使维护者获得防御优势,其速度远超人工筛选流程所能达到的速度。
大规模自动化漏洞发现
OSS Scanner 为符合条件的开源项目提供定期的安全扫描,且完全免费。与 Anthropic 面向企业的一般访问产品 Claude Security 不同,OSS Scanner 专为开源生态系统设计,旨在加速安全缺陷的发现与修复。
该服务的关键技术特性包括:
- 模型驱动分析:扫描由 Anthropic 最强大的模型执行,包括 Claude Mythos。
- 原始模型输出:为最大化速度和频率,报告完全由模型生成,未经人工审查或筛选。这意味着报告偶尔可能不准确或无效。
- 全面报告:每个报告包含一个自包含的复现代码、漏洞解释(包括尽可能的二分定位以确定漏洞引入时间),以及可用时的候选补丁。
性能与验证
Anthropic 报告称,大型语言模型在漏洞发现方面的有效性显著提升。在 CyberGym 基准测试中,LLM 发现漏洞的性能从去年初的不足 20% 提升至今年的超过 85%。
为验证 OSS Scanner 流水线,Anthropic 组织了一项测试,由专家渗透测试人员审查了 48 个项目的 97 个关键和高严重性漏洞。结果如下:
- 高精确度:97 个漏洞中有 85 个(88%)符合 Anthropic 协调漏洞披露(CVD)流程的标准。
- 低误报率:97 个发现中仅有 1 个被确认为完全无效。
- 真实世界影响:早期测试者的初步披露中包含多个可被串联利用以实现未认证远程代码执行的漏洞。
维护者反馈与集成
主要项目中的早期采用者表示,原始模型输出具有高度可操作性。
"OSS Scanner 的发现中,有异常高比例揭示了 PostgreSQL 的缺陷。多个报告附带了我们可以几乎直接使用的修复方案,快速通道访问让我们能在问题进入 GA 发布前解决最新问题。" — Noah Misch, PostgreSQL
"18 个月前,AI 生成的报告(在 Project Glasswing 之前)令人难以接受。而我们从 Anthropic 收到的报告(包括原始模型输出)质量与我们从人工获得的相当,有时甚至更好。" — Anton Arapov, OpenSSL Corporation
"我们发现这些报告的信号质量很高:收到的 74 个报告中,除两个外全部有效,其中有五个已成为 CVE。" — Todd Ouska, wolfSSL
尽管维护者指出严重性评级有时可能被高估,或扫描器可能误解项目的特定威胁模型,但整体信噪比仍被报告为很高。
资格与注册
OSS Scanner 面向对基础设施和用户安全具有‘关键影响’的项目的核心维护者开放,注册标准与 Google 的 OSS-Fuzz 类似。注册通过向官方 OSS Scanner GitHub 仓库提交拉取请求完成。
Anthropic 继续为其人工验证的报告维护协调漏洞披露(CVD)流程,特别是针对缺乏资源自行进行筛选的项目。