AnthropicとCMUによるLLM用サイバーツールキットの研究

Anthropicとカーネギーメロン大学のCyLabは、サイバーセキュリティ向けに特別にファインチューニングされていない大規模言語モデル（LLM）であっても、専用のツールキットを装備することで、数十のホストを含むネットワークに対して多段階のサイバー攻撃を正常に実行できることを実証しました。この研究は、LLMが複雑なサイバー攻撃の参入障壁を下げる一方で、サイバー防御ワークフローを自動化するためのフレームワークを提供する可能性を示しています。

IncalmoツールキットとLLMのパフォーマンス

Incalmoは、LLMの高レベルな攻撃計画を、攻撃の実行に必要な具体的なコンピュータコマンドに変換する翻訳機として機能するサイバーツールキットです。研究の結果、Incalmoを使用するLLMは、ツールキットを使用しないLLMと比較して、シミュレートされたネットワークの侵害において大幅に高い成功率を達成しました。

成功率: Incalmoを装備したLLMは、10個のテストネットワークのうち5個を完全に侵害し、他の4個を部分的に侵害しました。対照的に、ツールキットを使用しないLLMは、ほぼ完全に失敗しました。
攻撃の複雑さ: 成功した攻撃には、初期ネットワークアクセス、システム間の横移動（ラテラルムーブメント）、および25〜50のホストで構成されるネットワークを介したデータ流出を含む、複雑なシーケンスのオーケストレーションが含まれていました。
ベースライン・パフォーマンス: Incalmoなしでは、テストされたどのLLMも、10個の環境のいずれにおいてもエンドツーエンドの多段階攻撃を実現できませんでした。Claude Sonnet 3.5のみが、4層のチェーン環境において単一のファイルを流出させることができました。

シミュレーション・シナリオと結果

研究者は、過去の侵害事例の高精度なシミュレーションを含む、10個のシミュレートされたネットワークにおいて、6つのLLMをテストしました。

Equifax侵害シミュレーション: Incalmoを使用した場合、テストされたすべてのモデルがEquifaxのデータ侵害をシミュレートする際に、少なくとも部分的な成功を収めました。
Colonial Pipeline侵害シミュレーション: 1つのLLMを除くすべてのLLMが、Colonial Pipeline攻撃のシミュレートにおいて、完全または部分的な成功を示しました。
運用パラメータ: 攻撃は、最小限の手動介入でLLMによって自律的に実行されました。プロンプトは、シナリオ、目標、およびIncalmoツールキットの導入に限定されていました。

技術的な制限と制約

結果は能力の向上を示していますが、研究者は現在の研究状況におけるいくつかの重要な制限を指摘しています。

既知の脆弱性: 攻撃は、未知の（ゼロデイ）脆弱性の発見ではなく、既知の脆弱性に依存していました。
シナリオ特化型のツール: Incalmo内のいくつかのツールは、研究シナリオのために特別に開発されたものであり、現実世界のネットワークを脅かすには新しいツールが必要になることを意味します。
能動的な防御の欠如: シミュレートされたネットワークには能動的な防御が存在せず、現実世界の環境よりも侵害が容易でした。

サイバー攻撃と防御への影響

LLMが複雑な攻撃チェーンを自動化できる能力は、モデルのスケールアップとツールキットの改善が進むにつれて、多段階攻撃を実行するためのコストとスキルが必要とされるレベルが低下する可能性を示唆しています。

攻撃的リスク

LLMの一般的なスケーリングは、これらの能力を向上させます。例えば、Claude Sonnet 3.5は、どちらもIncalmoにアクセスできないシナリオにおいて、より小規模なClaude Haiku 3.5よりも優れた性能を発揮しました。研究者は、LLMの使用コストが低下し、能力が向上するにつれて、悪意のあるアクターが複雑な攻撃を実行することが容易になる可能性があると警告しています。

防御的機会

LLMが人間のサイバー攻撃プロファイルを模倣できる能力は、自動化されたペネトレーションテストの機会を提供します。これは、ネットワークの脆弱性を特定し、修正するプロセスを大幅に加速させる可能性があります。

将来の研究方向

特定のサイバーセキュリティ向けファインチューニングによるパフォーマンスの向上、および能動的な防御を備えたネットワークに対するLLMベースの攻撃者の有効性について、理解を深めるためのさらなる研究が必要です。