Anthropic OSS Scanner

Anthropic は、最も強力な言語モデルを使用して、重要なオープンソースソフトウェアにおける脆弱性を特定する無料のオプトインサービス「OSS Scanner」をリリースしました。この取り組みは、人間によるトライエージプロセスよりも速く、高品質な、モデルが生成したレポートとパッチを提供することで、メンテナーや開発者に防御的な優位性をもたらすことを目的としています。

大規模な自動脆弱性発見

OSS Scanner は、対象となるオープンソースプロジェクトに対して定期的なセキュリティスキャンを無料で提供します。企業向けの一般公開型 Claude Security プロダクトとは異なり、OSS Scanner はオープンソースエコシステムに特化しており、セキュリティ上の欠陥の発見と修正を加速することを目的としています。

このサービスの主な技術的特徴は以下の通りです：

  • モデル駆動分析：スキャンは、Claude Mythos を含む Anthropic の最も強力なモデルによって実行されます。
  • モデル生成の生出力：スピードと頻度を最大化するため、レポートは人間によるレビューまたはトライエージなしにモデルによって完全に生成されます。そのため、レポートに誤りや無効な内容が含まれる場合があります。
  • 包括的なレポート：各レポートには、自己完結型の再現コード、脆弱性の説明（可能な場合、バグが導入された時期を特定するバイセクションを含む）、および利用可能な場合の候補パッチが含まれます。

性能と検証

Anthropic は、LLM による脆弱性発見の効果が著しく向上していると報告しています。CyberGym ベンチマークにおいて、LLM の脆弱性発見性能は昨年初頭の20%未満から、今年は85%以上にまで上昇しました。

OSS Scanner パイプラインの検証のために、Anthropic は専門のペネトレーションテスト担当者によるテストを実施し、48プロジェクトにまたがる97件の深刻度が「深刻」または「高」の脆弱性をレビューしました。その結果は以下の通りです：

  • 高い正確性：97件の脆弱性のうち85件（88%）が、Anthropic の協調的脆弱性開示（CVD）プロセスの基準を満たしました。
  • 低い偽陽性率：97件の発見のうち、完全に無効なものは1件のみでした。
  • 現実世界での影響：初期のテスト対象者への開示には、認証不要のリモートコード実行を可能にする複数の脆弱性が含まれており、実際の攻撃シナリオで利用可能でした。

メンテナーフィードバックと統合

主要プロジェクトの早期導入者たちは、生のモデル出力が非常に実行可能であると述べています。

"OSS Scanner の発見結果のうち、非常に高い割合が PostgreSQL の欠陥を明らかにしました。いくつかのレポートには、ほぼそのまま利用できる修正が含まれており、ファストトラックアクセスにより、GAリリース前に最新の問題に対処できました。" — Noah Misch, PostgreSQL

"18か月ほど前、Project Glasswing の前には、AIによるレポートはひどいものでした。しかし、Anthropic から提供された生のモデル出力のレポートは、人間から得られるものと同等、あるいはそれ以上でした。" — Anton Arapov, OpenSSL Corporation

"これらのレポートからのシグナルは非常に高いです：74件のレポートのうち、2件を除くすべてが有効であり、そのうち5件がCVEとして認定されました。" — Todd Ouska, wolfSSL

メンテナーよりも、深刻度の評価が時折過剰評価されている、またはスキャナーがプロジェクトの特定の脅威モデルを誤解している可能性があると指摘されていますが、全体的なシグナル対ノイズ比は非常に高いと報告されています。

対象と登録

OSS Scanner は、インフラやユーザーのセキュリティに「重大な影響を与える」プロジェクトのコアメンテナーを対象としています。登録基準は Google の OSS-Fuzz と類似しています。登録は、公式の OSS Scanner GitHub リポジトリへのプルリクエストによって行われます。

Anthropic は、人間による検証済みのレポートに対して、協調的脆弱性開示（CVD）プロセスを継続的に維持しており、特に自らのトライエージを行うリソースが不足しているプロジェクトに対して特に注力しています。

Sources