Anthropic Project Glasswing 7个月绩效评估
Project Glasswing 绩效概述
在 Project Glasswing 启动七个月后,对 Anthropic 漏洞披露分类账的分析表明,该项目在将大量发现转化为可操作的安全修复方面遇到了困难。尽管 Anthropic 报告了近 38,000 个发现,但只有极小一部分得到了验证和修复,这引发了人们对该项目的可扩展性及其报告的真阳性率准确性的担忧。
披露与补救之间的差异
VulnCheck 跟踪的数据显示,Anthropic 模型生成的发现数量与维护者实际解决的漏洞数量之间存在显著差异。截至 2026 年 11 月,Anthropic 报告了 37,966 个发现,但只有 217 个(约 0.6%)被标记为已修复。此外,被标记为重复(1,654 个)或撤回(419 个)的发现数量超过了已确认修复的数量,这表明分类流程无法跟上模型生成报告的数量。
对开源维护者的负担
Anthropic 向选择加入的 OSS Scanner 的转型,将验证负担从 Anthropic 的内部团队转移到了个人开源维护者身上。诸如 curl 等项目的实际测试凸显了该模型的挑战。在最近提交给 curl 的 45 份报告中,维护者发现 19 份并非漏洞,6 份属于低严重性问题,9 份尚未评估。这种高误报率——加上分类这些报告所需的人工投入——导致了批评,认为该倡议在没有提供相应安全改进的情况下,为维护者创造了不可持续的工作量。
行业观点与反驳
社区对这些发现的反应存在分歧。批评者认为该项目被过度炒作,大量“垃圾”发现淹没了安全团队。相反,一些维护者报告了积极的体验,指出这些模型可以识别出人类审计员可能遗漏的复杂、有效的漏洞。
行业观察人士还指出,公共分类账仅代表了该项目总活动的一小部分。许多高价值的工作发生在私有企业代码库中,漏洞在内部得到补救,而无需分配公共 CVE。正如一位评论者所指出的:
公共 CVE 数据集表现平平并不意味着什么,如果所有问题都存在于永远不会被分配 CVE 编号的私有公司代码库中。 — @handle
关于 AI 驱动的漏洞发现的结论
虽然 AI 模型在识别潜在安全漏洞方面表现出了明显的效用,但 Project Glasswing 的当前实施凸显了在没有稳健的人机协同分类的情况下,自动化发现的局限性。行业对于这些工具是代表了安全态势的真正转变,还是一个为开源生态系统制造了更多噪音而非信号的营销主导型倡议,仍然存在分歧。
Sources
相关
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch