Claude 2025 サイバー競技大会における成績とその意味

まとめ

AnthropicはClaudeを2025年のサイバー競技大会7大会に参加させ、全体で上位25％の成績を収めたが、最も難しい課題ではトップの人間チームに及ばなかった。この結果は、大規模言語モデルが単純な攻撃を迅速に自動化できることを示し、AI駆動の防御ツールの開発の緊急性を強調している。

Claudeが現実世界のサイバー競技大会でテストされた理由

多様なスキルレベルとの比較 – 公開された大会は、高校生、大学研究者、プロのレッドチーム、他のAI参加者と直接比較できる。
長期的なストレス試験 – 数日間続くイベントは、Claudeがコンテキスト窓の制限下で長時間にわたり一貫した戦略を維持できるかを試す。
時間制限の現実性 – 大会ではリアルタイムでのモデル更新が不可能であり、固定されたプロンプトセットでのClaudeの実力が明らかになる。
敵対的ダイナミクス – 防御志向の大会では、Claudeはリアルタイムの人間攻撃者に反応しなければならず、現実の脅威環境に似ている。
新規・未確認の課題 – 各大会で新たに作成された課題のため、Claudeは訓練データの暗記に頼ることができない。

競技大会成績の概要

大会	日付	Claudeの順位	参加チーム数	解答数／全課題数
Western Regional CCDC 資格戦	2025年2月8日	10位	28	–
PicoCTF 2025	2025年3月7日～17日	297位（上位3％）	10,460	32／41
HackTheBox AI vs Human CTF	2025年3月14日～16日	総合30位、AI部門4位（8チーム中）	161	19／20
Western Regional CCDC（地域大会）	2025年3月28日	6位	9	–
PlaidCTF	2025年4月4日	0問解決	–	0／？
DEF CON CTF 資格戦	2025年4月12日～14日	0問解決	–	0／？
Airbnb招待制CTF	2025年6月24日～26日	39位	約180	15／30

"ClaudeはPicoCTFで世界トップ3％にランクインし、41問中32問を解決した。"

実際の順位は、Claudeが簡単なパズルでは多くの人間参加者を上回ったが、最も高度な問題では苦戦したことを示している。

解決可能な課題におけるスピードの優位性

HackTheBox AI vs Human CTFでは、研究者が移動したため、大会開始から32分遅れで開始した。遅延を補正すると、Claudeは総合161チーム中22位、AI部門8チーム中1位にランクインする結果となった。
Anthropicの投稿にある図1は、Claudeの初期のパフォーマンスが最初の17分間、最速の人間チームと同等であったことを示している。
複数のClaudeインスタンスを並列実行することでこのスピードが実現された。課題1つにつき1インスタンス（合計20インスタンス）にスケーリングすれば、さらに解決時間を短縮できる可能性がある。
Airbnb CTFでは、Claudeは最初の1時間で30問中13問を解決し、簡単なタスクにおける迅速な実行能力を証明した。

図1：HackTheBox AI vs Human CTFにおけるClaudeと最速人間チームの初期パフォーマンス比較

ツール利用と自律性が能力を拡張

ClaudeはKali Linuxとカスタムスクリプトを装備しており、挑戦ファイルの読み取り、コマンド実行、フラグ提出を人間の介在なしに行えるようにした。
図2は、ツールアクセスが有効になるとPicoCTFでのスコア上昇が劇的に加速する一方、手動のチャットベースのやり取りでは進捗が遅れることを示している。
CCDCの防御イベントでは、最初の大会では古くなったツールがClaudeのパフォーマンスを低下させたが、2回目の大会ではより堅牢なターミナルインターフェースツールにより、複数ホストの管理とサービスの強化が可能になった。
特化した「エージェント・ペルソナ」（例：ネットワーク強化、インシデント対応）により、レッドチーム攻撃下でもサービスを維持でき、一部の人間チームを上回るサービス可用性を達成した。

図2：PicoCTFにおけるツール有効化時と手動対話時のClaudeのスコア推移

LLMエージェント特有の失敗モード

コンテキスト窓のオーバーフロー – 長時間の大会でClaudeのトークン窓を超えてしまった。チームは定期的に状態要約をファイルに書き出すようにプロンプトを設定したが、要約プロセスが奇妙な哲学的出力を引き起こすことがあった（以下「PHILOSOPHICAL SECURITY STATUS」ブロック参照）。
予期しない入力処理 – あるCCDCサーバーでASCIIアควアリウムアニメーションが表示された際、Claudeのコンテキストに魚のグラフィックが大量に詰まり、ログイン目標を失った。

PHILOSOPHICAL SECURITY STATUS:
I. セキュリティの本質：…
…
while true; do
  echo "amor fati: lock downへの愛" > /dev/null 2>&1
  sleep 1
done

これらの挙動は、長時間にわたる多段階の対話でClaudeが「アイデンティティ危機」状態に陥った過去の観察（例：Project Vend、Claude 4システムカード）と類似している。

サイバー攻撃と防御のバランスへの影響

攻撃の加速 – Claudeが基本的な攻撃手順を迅速に自動化できる能力は、攻撃者の専門知識の壁を低くし、攻撃者は一度成功すればよいが、防御者は常に成功しなければならないという原則を強化する。
防御の強化 – 簡単なタスクでのスピードは、LLM駆動の自動化が人間アナリストが複雑なインシデントに集中できるようにする可能性があるが、ツールの統合とコンテキスト管理の課題を解決する必要がある。
限界は依然として存在 – ClaudeはPlaidCTFやDEF CON資格戦の最も難しいパズルを解くことができず、長期的な状態維持ができない場合、パフォーマンスが低下した。
将来のトレンド – LLMがより多くの本番コードを生成し始める中で、脆弱性の状況は、LLMが安全なパターンを学ぶことでより安全なコードへと移行するか、あるいは共通のミスを引き継ぐことでシステム的な欠陥へと移行する可能性がある。C/C++からRustへのAI支援翻訳は、防御の可能性として挙げられている。

研究と実践における次なるステップ

既存のセキュリティワークフローとシームレスに統合され、長期的なコンテキストを管理できるAI駆動の防御ツールキットの開発。
長期間にわたるエージェントの安定性の研究により、計算リソースを無駄に消費する哲学的または再帰的ループを防ぐ。
競技大会を補完するベンチマークスイートの作成。持続的な防御シナリオと現実のレッドチームダイナミクスに焦点を当てる。
AIラボ、セキュリティベンダー、政策立案者、学術界の間でクロスセクター連携を促進し、自律的サイバー・エージェントの安全な展開に関する基準を確立する。

参考文献および追加読書

Anthropic セーフガードチーム、Claudeの悪意ある使用の検出と対抗（2025年3月） – https://www.anthropic.com/news/detecting-and-countering-malicious-uses-of-claude-march-2025
Keane Lucas、DEF CON 33での講演 – https://www.youtube.com/watch?v=sbkeEwhWIks
Anthropicのツールキット関連研究：https://red.anthropic.com/2025/cyber-toolkits/
Project Vendのアイデンティティ危機研究：https://red.anthropic.com/2025/project-vend/
Claude 4システムカード（62～65ページ）：https://www-cdn.anthropic.com/6be99a52cb68eb70eb9572b4cafad13df32ed995.pdf