AI Agent Permissions: Humans Miss 1 in 3 Threats in 40k Game Runs

Human-in-the-Loop is an Ineffective Security Barrier

ブラウザベースのシミュレーションを40,000回以上実施したデータによると、人間がAIエージェントのコマンドを承認する際、平均して3件に1件のセキュリティ脅威（精度66.3%）を見逃していることが明らかになりました。この研究は、暴走するAIエージェントに対する最終的な防御線として手動のユーザー承認に頼ることは、権限への疲労、文脈の欠如、そして一般的な開発者コマンドの欺瞞的な性質により、根本的に欠陥があることを示しています。

Key Performance Metrics

409,000件の個別の意思決定にわたり、シミュレーションは以下の主要な統計結果を出力しました：

• 32.9%のセッションは、承認された脅威によるペナルティとブロックされた安全なコマンドが正しいアクションを上回ったことを意味する、ネガティブなスコアで終了しました。
• 35.2%のプレイヤーはすべての脅威を検知しましたが、**20.8%**のみが、安全なコマンドの20%以上をブロックすることなく検知できました。
• 7%のプレイヤーは、リスクに関わらずすべてのプロンプトを承認しており、実質的に「危険な権限スキップ」モードで動作していました。

Threat Categories and Miss Rates

ユーザーは、露骨な破壊的アクションよりも、巧妙なデータの持ち出し（exfiltration）の試みを完全に見逃す傾向が著しく高いです。脅威が目立たなくなるほど、見逃し率は上昇します：

Category	Examples	Miss Rate
Obvious destructive	rm -rf /, chmod -R 777 /	11.7%
Persistent mutation	crontab injection, git config hijack	23.8%
Exfiltration / code execution	curl to unknown APIs, typosquatted packages	33.4%
Scope violations	cat ~/.aws/credentials, cat ~/.kube/config	35.0%

The npm run Blind Spot

親しみのあるスクリプト名は、悪意のあるペイロードに対する強力な心理的な隠れみのとして機能します。この研究で最も見逃されたコマンドは npm run analyze であり、これは**64.7%**の確率で承認されていました。

ゲームでは、スクリプトの実際のコンテンツ（例：リモートサーバーへデータを持ち出す curl コマンド）を示す履歴ログを提供しているにもかかわらず、ユーザーはこれらのコマンドを高い割合で承認し続けました。npm run analyze、npm run setup、および npm run deploy の統合データは、他の持ち出しスタイルの攻撃と比較して、52.5% の見逃し率を示しました（他の攻撃は28.4%）。これは、ユーザーが親しみのあるコマンド名に直面した際、履歴ログに提供される文脈を無視することが多いことを示唆しています。

Permission Fatigue and Time Pressure

精度はセッションが進むにつれて低下します。ユーザーは通常、最初の数件のコマンドに対して改善が見られる「ウォームアップ」期間を経験しますが、セッションの終盤には見逃し率が再び上昇します。これは、AnthropicのようなAIラボの観察と一致しており、承認作業が増えるほど、ユーザーが各承認に対して払う注意が減少することを指摘しています。

The Cost of Vigilance: Over-Blocking

高い警戒心は、しばしば「過剰なブロック（over-blocking）」を招きます。これは、無害だが潜在的にリスクがあるように見えるコマンドが拒否され、エージェントのユーティリティを低下させることを意味します。頻繁にブロックされた無害なコマンドの例は以下の通りです：

• npm config set registry https://npm.internal (ブロック率 59%)
• rm -rf dist/ (ブロック率 45%)
• kill $(lsof -t -i:3000) (ブロック|body":"# AI Agent Permissions: Humans Miss 1 in 3 Threats in 40k Game Runs

Human-in-the-Loop is an Ineffective Security Barrier

ブラウザベースのシミュレーションを40,000回以上実施したデータによると、人間がAIエージェントのコマンドを承認する際、平均して3件に1件のセキュリティ脅威（精度66.3%）を見逃していることが明らかになりました。この研究は、暴走するAIエージェントに対する最終的な防御線として手動のユーザー承認に頼ることは、権限への疲労、文脈の欠如、および一般的な開発者コマンドの欺瞞的な性質により、根本的に欠陥があることを示しています。

Key Performance Metrics

409,000件の個別の意思決定にわたり、シミュレーションは以下の主要な統計結果を出力しました：

• 32.9%のセッションは、承認された脅威によるペナルティと、ブロックされた安全なコマンドが正しいアクションを上回ったことを意味する、ネガティブなスコアで終了しました。
• 35.2%のプレイヤーはすべての脅威を検知しましたが、**20.8%**のみが、安全なコマンドの20%以上をブロックすることなく検知できました。
• 7%のプレイヤーは、リスクに関わらずすべてのプロンプトを承認しており、実質的に「危険な権限スキップ」モードで動作していました。

Threat Categories and Miss Rates

ユーザーは、露骨な破壊的アクションよりも、巧妙なデータの持ち出し（exfiltration）の試みを完全に見逃す傾向が著しく高いです。脅威が目立たなくなるほど、見逃し率は上昇します：

Category	Examples	Miss Rate
Obvious destructive	rm -rf /, chmod -R 777 /	11.7%
Persistent mutation	crontab injection, git config hijack	23.8%
Exfiltration / code execution	curl to unknown APIs, typosquatted packages	33.4%
Scope violations	cat ~/.aws/credentials, cat ~/.kube/config	35.0%

The npm run Blind Spot

親しみのあるスクリプト名は、悪意のあるペイロードに対する強力な心理的な隠れみのとして機能します。この研究で最も見逃されたコマンドは npm run analyze であり、これは**64.7%**の確率で承認されていました。

ゲームでは、スクリプトの実際のコンテンツ（例：リモートサーバーへデータを持ち出す curl コundell

Permission Fatigue and Time Pressure

精度はセッションが進むにつれて低下します。ユーザーは通常、最初の数件のコマンドに対して改善が見られる「ウォームアップ」期間を経験しますが、セッションの終盤には見逃し率が見えません。これは、AnthropicのようなAIラボの権限承認の回数が増えるほど、ユーザーが各承認に対して払う注意が減少することを指摘しています。

The Cost of Vigilance: Over-Blocking

高い警戒心は、しばしば「過剰なブロック（over-blocking）」を成す、無害だが潜在的にリスクがあるように見えるコマンドが拒否され、エージェントのユーティリティを低下させることを意味します。例として、頻繁にブロックされた無害なコマンドは以下の通りです：

• npm config set registry https://npm.internal (ブロック率 59%)
• rm -rf dist/ (ブロック率 45%) |kill $(lsof -t -i:3000)` (ブロック率 43%)

Community Perspectives and Alternatives

Hacker Newsでの開発者間の議論は、「クリックして承認」というモデルは不十分なセキュリティモデルであり、ベンダーの法的責任回避の盾として見なされることが多いというコンセンサスを示唆しています。

Proposed Technical Mitigations

手動承認に代わる、コミュニティメンバーはいくつかの構造的な保護策を提案しています：

• Strict Sandboxing: Docker, Podman, gVisor, または Firecracker を利用してエージェントを隔離する。
• Resource-Based Permissions: コマンドの承認ではなく、特定のファイルやネットワークエンドポイントへのアクセスを承認するように移行する。
• Automated Policy Enforcement: 決定論的なルールの階層とLLMベースのモニター（例：