Anthropic Project Glasswing 7ヶ月パフォーマンスレビュー

Project Glasswing パフォーマンス概要

Project Glasswingの開始から7ヶ月が経過し、Anthropicの脆弱性開示台帳を分析した結果、同プロジェクトは大量の発見を実用的なセキュリティ修正へと変換するのに苦戦していることが示唆されています。Anthropicは約38,000件の発見を報告していますが、検証および修正されたのはごく一部に過ぎず、プロジェクトの拡張性や報告された真陽性率の正確性について懸念が生じています。

開示と修正における不一致

VulnCheckが追跡したデータによると、Anthropicのモデルによって生成された発見の数と、メンテナによって実際に解決された脆弱性の数との間に大きな乖離があることが明らかになりました。2026年11月時点で、Anthropicは37,966件の発見を報告しましたが、修正済みとマークされたのはわずか217件(約0.6%)です。さらに、重複(1,654件)や取り下げ(419件)とマークされた発見の数が、確認された修正の数を上回っており、トリアージプロセスがモデル生成レポートの量に追いついていないことを示唆しています。

オープンソースメンテナへの負担

Anthropicがオプトイン方式の OSS Scanner へ移行したことで、検証の負担はAnthropicの内部チームから個々のオープンソースメンテナへと移転しました。curl などのプロジェクトによる実地テストでは、このモデルの課題が浮き彫りになっています。curl に提出された最近の45件のレポートのうち、メンテナは19件が脆弱性ではなく、6件が低リスクの問題であり、9件が未評価のままであることを確認しました。この高い誤検知率と、レポートのトリアージに必要な手作業の負担が相まって、この取り組みはメンテナにとって持続不可能なワークロードを生み出しており、それに見合うセキュリティの向上をもたらしていないという批判を招いています。

業界の視点と反論

これらの調査結果に対するコミュニティの反応は分かれています。批判者は、このプロジェクトは過大評価されており、大量の「質の低い(slop)」発見がセキュリティチームを圧倒していると主張しています。一方で、モデルが人間の監査者では見逃してしまうような複雑で有効な脆弱性を特定できると指摘し、肯定的な経験を報告するメンテナもいます。

業界の観測筋はまた、公開台帳はプロジェクトの全活動の一部に過ぎないと指摘しています。価値の高い作業の多くは、CVEが公に割り当てられることなく内部で修正される民間企業のコードベース内で行われています。あるコメント投稿者が指摘したように、「CVEの公開データセットが期待外れであっても、問題のすべてがCVE番号が割り当てられることのない民間企業のコードベースにあるのであれば、それはあまり意味をなさない」のです。

AI主導の脆弱性発見に関する結論

AIモデルは潜在的なセキュリティ欠陥を特定する上で明確な有用性を示していますが、Project Glasswingの現在の実装は、人間が介在する堅牢なトリアージなしでの自動発見の限界を浮き彫りにしています。これらのツールがセキュリティ態勢の真の転換を意味するのか、それともオープンソースエコシステムにとってシグナルよりもノイズを多く生み出すマーケティング主導の取り組みなのかについて、業界の意見は依然として分かれています。

Sources

関連