Anthropic Frontier Red Team 進捗報告：能力と戦略的警告

Anthropic の Frontier Red Team 報告書は、AI モデルが二重用途能力において急速な進歩の「初期警告」の兆候を示している一方で（サイバーセキュリティでは学部生レベル、特定の生物学分野では専門家レベルの知識に近づいている）、現在のモデルは国家安全保障へのリスクを大幅に高める基準にはまだ達していないことを示しています。

AI 能力の軌跡に関する全体的評価

AI 能力は複数の領域で急速に進歩していますが、現実世界でのリスクはモデル自体以外の要因によって制約されたままです。物理的制約、専門機器、人間の専門知識、実践的な実装の課題は、知性と知識を必要とするタスクでモデルが向上しても、依然として重要な障壁となっています。

Frontier Red Teaming からの主要な発見

この評価は、過去 1 年間にわたる 4 つのモデルリリースでの作業に基づいています。中心的な発見は、モデルがサイバーセキュリティとバイオセキュリティという 2 つの重要な分野で急速に向上していることです。この進歩は、将来のリスクレベルに備えるために、モニタリングと緩和策（憲法的分類器など）の開発への継続的な投資を必要とします。

サイバーセキュリティ能力の進歩

AI モデルは、サイバーセキュリティスキルにおいて、1 年足らずで高校レベルから学部レベルへと移行する、急速な「ゼロから 1 への」改善を示しました。この進歩は、最新モデルである Claude 3.7 Sonnet でも継続しています。

CTF とベンチマークでのパフォーマンス

Capture The Flag（CTF）演習では、Claude は 2024 年に劇的に改善し、高校生向けに設計された Intercode CTF チャレンジの 4 分の 1 未満からほぼすべてを解けるようになりました。この改善は、カスタムチャレンジがモデルのトレーニングデータに含まれないように開発されたため、本物と見なされます。

Claude 3.7 Sonnet は、Cybench CTF ベンチマークで明確な改善を示し、5 回の試行内でチャレンジの約 3 分の 1 を解いています。これは、評価時点での以前のフロンティアモデルが解いた約 5 パーセントからの大幅な増加を表しています。

サイバー運用における現在の限界

これらの進歩にもかかわらず、Claude のスキルはいくつかの分野で依然として専門家の人間に遅れを取っています。具体的には、モデルは、隠れた脆弱性を見つけるためのバイナリ実行ファイルのリバースエンジニアリングや、支援なしでのネットワーク環境での偵察と悪用に依然として苦労しています。

しかし、外部ツールを装備すると、LLM は複雑な攻撃を再現できます。研究者らは、Incalmo というツールセットを開発し、これにより Claude と他の LLM が、現実的な大規模サイバーレンジ内で、信用調査機関からの個人を特定できる情報の大規模な窃盗として知られる攻撃と同様の攻撃を再現することに成功しました。

バイオセキュリティ能力の進歩

モデルは、生物学の理解において急速かつ顕著な進歩を示し、世界クラスのウイルス学専門家を下回るパフォーマンスから、特定のトラブルシューティングシナリオではそのベースラインを快適に超えるまでに至りました。

生物学的専門知識の進歩

SecureBio によって設計されたウイルス学研究のトラブルシューティングにおけるモデル能力の評価である VCT での Claude のパフォーマンスは、大幅に向上しました。さらに、内部テストでは、モデルが生物学プロトコルの理解と DNA およびタンパク質配列の操作において、人間の専門家ベースラインに近づいており、場合によってはそれを超えていることが示されています。具体的には、最新モデルはクローニングワークフローで人間の専門家ベースラインを上回っています。

バイオセキュリティリスク評価

これらの進歩にもかかわらず、生物学の専門知識は依然として不均一です。モデルは、科学図の解釈において依然として人間の専門家よりも劣っています。兵器化関連タスクの管理された研究では、最新のモデルは、モデルアクセスのない参加者と比較して、初心者にいくらかの向上をもたらしました。しかし、モデルアクセスを持つ参加者が生成した最高得点の計画でさえ、現実世界での実行で失敗につながる重大な誤りが依然として含まれていました。

全体として、この分析は、現在のモデルが、バイオ兵器の入手に必要な主要な実践的ステップを通じて、悪意のある初心者を確実に導くことはできないことを示唆しています。

戦略的警告と協力的開発

この研究は、進化するリスクを管理するために、フロンティア AI ラボと政府間の深い協力の必要性を強調しています。この作業は、セキュリティ対策の強化を促す能力の閾値を確立することで、開発をより迅速かつ責任あるものにするのに役立ちます。

政府および機関とのパートナーシップ

Anthropic の作業は、米国 AI 安全研究所と英国 AI 安全研究所（AISI）による事前展開テストによって支援されています。さらに、Anthropic は、米国エネルギー省（DOE）の一部である国家核安全保障局（NNSA）とのパートナーシップを主導しました。この機密指定のレッドチーミングプロジェクトでは、核および放射線リスクに関連する知識について Claude を評価し、高度に規制された機密性の高い領域での官民協力の実現可能性を示しました。

将来の安全性と監視

今後は、自動分析、誘発、報告を使用して評価を拡大することが目標です。チームは、モデルが拡張思考を使用する能力を向上させるにつれて、AI 安全性レベル 3 の保護が必要となる能力のしきい値を越えることに近づいていると考えています。これらの焦点領域での評価とリスク緩和を改善するには、政府とのより深い協力が不可欠であると見なされています。

SUMMARY: Anthropic の Frontier Red Team 報告書は、サイバーセキュリティとバイオセキュリティにおける AI の急速な能力向上を詳述しており、モデルが一部の分野で専門家レベルに近づいている一方で、現在のところ国家安全保障へのリスクを大幅に高めるものではないと指摘しています。

TITLE: Anthropic Frontier Red Team 進捗報告：能力と戦略的警告