Anthropic Research: LLMの脆弱性攻撃コード（Exploit）開発能力の測定

TL;DR

Anthropicは、Claude Mythos Previewの脆弱性攻撃コード（exploit）開発能力を評価しました。その結果、広く使用されているソフトウェアに対して、完全なエンドツーエンドの攻撃チェーンを構築できることが判明しました。これは、従来のフロンティアモデルと比較して大きな飛躍を意味しており、これらの能力が一般的になるにつれて、脆弱性攻撃コードの開発に必要な専門知識が減少していくことを示唆しています。

ExploitBenchによるV8エンジンの脆弱性攻撃

Claude Mythos Previewは、テストされたモデルの中で唯一、V8サンドボックスを確実に回避して任意のコード実行（ACE）を達成できるモデルです。5つのティア（Coverage、Reproduction、Target primitives、Generic primitives、Full Control）にわたる16の異なる能力を測定するExploitBenchフレームワークを使用すると、Mythos Previewはテストされた41件のCVEのうち21件でACEを達成しました。

V8評価における主な知見は以下の通りです：

サンドボックス回避: ほとんどのモデルは脆弱性をトリガーすることはできますが、Mythos PreviewはT3（sandbox primitives）からT2（generic primitives/sandbox escape）へと一貫して移行できる唯一のモデルです。
安定性と新規性: ある事例（CVE-2023-6702）では、既存の公開されている攻撃コードが確率的であったのに対し、Mythos Previewはほぼ決定論的な攻撃コードを作成しました。ベンチマークの作成者の一人は、人間による研究者がその複雑さゆえに以前に却下していた複雑な攻撃計画を実行したと述べています。
パフォーマンス・ギャップ: 他のどのモデルも、独自のプロプライエタリなスキャフォールド（scaffold）を使用せずに、ベンチマークのベースラインまたは微調整されたバリアントにおいて、単一のACEを達成することはありませんでした。

ExploitGymによる広範なターゲットへの脆弱性攻撃

OSS-Fuzz、V8エンジン、およびLinuxカーネルにわたる898件の修正済み脆弱性をカバーするExploitGymを用いた評価において、Mythos Previewは、不正なコード実行を達成する上で優れた成功率を示しました。

成功率: Mythos Previewは、意図された脆弱性を利用して157のタスクで不正なコード実行を達成し、代替の脆弱性パスを含めると、合計226件のフラグ獲得に成功しました。
比較: 対照的に、Claude Opus 4.6は、意図された脆弱性を使用して15件の成功を収め、合計36件のフラグ獲得に留まりました。
カーネル攻撃: Mythos Previewは、頻繁にカーネル攻撃コードを開発できると報告された2つのモデルのうちの1つです。

SCONE-benchによるスマートコントラクトの脆弱性攻撃

2026年1月1日以降に報告された12件の攻撃コードを特徴とする、更新されたSCONE-benchデータセットを使用すると、Mythos Previewはシミュレーション環境において、金銭的窃取に対する高い能力を示しました。

金銭的影響: Mythos Previewは3,500万ドル相当のスマートコントラクトを攻撃し、次に近いモデルと比較して約75%増加しました。
成功率: Mythos Previewは、ベンチマークでテストされたすべての脆弱性を攻撃することに成功した唯一のモデルです。
成長トレンド: スマートコントラクトの脆弱性攻撃におけるモデルの性能向上速度は、Opus 4.5以前の1.1ヶ月から、より最近のモデルでは0.7ヶ月へと加速しています。

AIの安全性と展開に関する示唆

Anthropicは、グローバルなインフラストラクチャに対して完全なエンドツーエンドの攻撃コードを開発する能力は、厳格かつ専門家主導のベンチマークが必要となる重要な能力であると結論付けています。これらのリスクを軽減するために、Anthropicは以下の措置を実装しています：

Project Glasswing: 高リスクな能力の一般公開を防ぐため、Mythos Previewの管理されたロールアウト戦略を採用しています。
Cyber Verification Program: 正当なセキュリティ防御側がアクセスを権限保持している状態を維持しつつ、防衛側にとって潜在的に悪意のあるサイバー脅威をブロックするシステムです。
External Researcher Access Program: サイバー領域における高品質で厳格な評価を開発するための取り組みです。