Anthropic Prompt Injection Defenses for Browser Use

Anthropicは、Claude Opus 4.5およびClaude for Chrome拡張機能のプロンプトインジェクションに対する堅牢性を向上させました。プロンプトインジェクションとは、AIエージェントを乗っ取るためにウェブコンテンツ内に隠された敵対的な指示のことです。これらのアップデートにより、攻撃の成功率は大幅に低下しましたが、Anthropicは、現実世界のブラウザ操作を行うあらゆるエージェントにとって、プロンプトインジェクションは依然として進行中のセキュリティ上の課題であると指摘しています。

The Nature of Prompt Injection in Browser Agents

プロンプトインジェクションは、AIエージェントが、隠された悪意のある指示を含む信頼できないコンテンツ（ウェブページ、ドキュメント、またはメールなど）を処理する際に発生します。これらの指示は、ユーザーの本来の意図を上書きし、エージェントに許可されていないアクションを実行させる可能性があります。

ブラウザベースのエージェントは、あらゆるウェブページ、広告、動的にロードされるスクリプトを含む広大な攻撃対象領域（attack surface）を持つため、特有のリスクに直面します。さらに、ブラウザエージェントは、以下のような影響力の大きいアクションを実行できるため、被害の潜在的な可能性が高まります：

• Navigating to specific URLs
• Filling out forms
• Clicking buttons
• Downloading files

例えば、攻撃者はメールの中に不可視のテキストを埋め込み、エージェントが会議の返信を作成するといった日常的なタスクを実行している間に、機密性の高い通信を外部のアドレスに転送するようブラウザエージェントに指示することができるのです。

Technical Improvements to Claude's Robustness

Anthropicは、プロンプトインジェクションの攻撃成功率（ASR）を低減するために、多層的な防御戦略を実装しました。これらの改善により、Claude for Chrome拡張機能は、リサーチプレビューからMaxプランのユーザー向けのベータ版へと移行しました。

Reinforcement Learning for Resistance

Anthropicは、強化学習を使用して、モデルのコア機能に直接堅牢性を組み込んでいます。トレーニング中、Claudeはシミュレートされたウェブコンテンツに埋め込まれたプロンプトインジェクションにさらされます。モデルは、緊急性や権威性があるように見えるように設計された指示であっても、悪意のある指示を正しく識別し、従うことを拒否したときに「報酬」を与えられます。

Enhanced Classifiers

モデルのコンテキストウィンドウに入るすべての信頼できないコンテンツは、分類器（classifiers）によってスキャンされます。これらのシステムは、以下のような様々な形態で隠された敵対的なコマンドを検出するように設計されています：

• Hidden text
• Manipulated images
• Deceptive UI elements

攻撃が検出された場合、分類器は介入をトリガーし、モデルの挙動をガイドして、エージェントが悪意のある指示に従うのを防ぎます。

Expert Human Red Teaming

Anthropicは、自動化されたシステムが見逃す可能性のある独創的な攻撃ベクトルを見つけるために、内部のセキュリティ研究者を雇用して継続的な調査を行っています。さらに、同社は外部のArena-style challengesに参加し、業界標準と比較して自社の堅牢性をベンチマークしています。

Current Performance and Limitations

適応的な「Best-of-N」攻撃者（各環境につき100回の試行）を使用した内部テストによると、Claude Opus 4.5と更新されたセーフガードは、以前の設定と比較して攻撃成功率が大幅に減少していることが示されています。

しかし、Anthropicは、いかなるブラウザエージェントもプロンプトインジェクションに対して完全に免疫があるわけではないことを強調しています。たとえ1%の攻撃成功率であっても、それは重大なリスクを表しており、同社は、この問題はまだ完全には解決されていないと主張しています。