Anthropic Constitutional Classifiers++ のリリース

Anthropic は、大規模言語モデルが jailbreak（安全ガードレールを回避して有害な情報を引き出す技術）から保護されるように設計された次世代のセーフティシステム「Constitutional Classifiers++」を開発しました。特に化学、生物、放射性、核（CBRN）兵器に関する有害な情報を引き出すことを目的とした攻撃に対して効果的です。この新しいシステムは、セーフティ監視の計算コストを約1%まで削減し、テスト中に普遍的な jailbreak を発見することを完全に回避しました。

第1世代の Constitutional Classifiers からの進化

元々の Constitutional Classifiers は、自然言語のルールから構成される「憲法」から得られた合成データで訓練された保護機構でした。このシステムは jailbreak の成功率を 86% から 4.4% まで低下させ（攻撃の95%をブロック）、大きな進歩をもたらしましたが、以下のような運用上のトレードオフを伴いました：

計算コスト： 計算コストが 23.7% 増加した。
誤って拒否されたクエリ： 無害なクエリに対する拒否率が 0.38% 増加した。
脆弱性： バグバウンティプログラム中に、1つの普遍的な jailbreak が発見された。

Constitutional Classifiers++ のアーキテクチャ

Constitutional Classifiers++ は、エンサンブル防御と「カスケードアーキテクチャ」を用いて、堅牢性と効率のバランスを実現しています。このシステムは2段階で動作します。

ステージ1：内部プローブ分類器

1段階目では、Claude の内部活性化を監視する線形プローブを使用します。これらのプローブは、応答が生成される前に有害なコンテンツの兆候となるパターンを検出します。これらのプローブは既存の計算を再利用するため、計算コストが低く、最終出力よりも攻撃者によって操作されにくいです。

ステージ2：交換分類器

内部プローブが交換内容を疑わしいと判断した場合、それはより強力な2段階目の分類器に引き上げられます。以前のバージョンが入力と出力を別々にスクリーニングしていたのに対し、この「交換分類器」は入力の文脈の中で出力を監視します。これにより、入力と出力を一緒に見ることでしか明らかにならない有害な意図（例：「食品の風味付け」を化学試薬の隠語として使うなど）を検出できます。

性能とベンチマーク

Claude Sonnet 4.5 のトラフィックに導入した結果、Constitutional Classifiers++ システムは以下の成果を示しました：

拒否率： 無害なクエリに対する拒否率は 0.05% まで低下し、元のシステムと比べて 87% 減少しました。
計算オーバーヘッド： Claude Opus 4.0 のトラフィックに適用した場合、システムは約 1% の計算オーバーヘッドを追加します。
堅牢性： 198,000 回のレッドチーム攻撃（累計1,700時間以上）において、高リスクの脆弱性は1件のみ発見され、1,000クエリあたりの検出率は 0.005 でした。普遍的な jailbreak は一切発見されませんでした。

識別された脆弱性とモデルの劣化

これらの改善にもかかわらず、Anthropic は以下の2種類の攻撃が依然として困難であると認識しています：

再構成攻撃： 有害な情報を無害に見えるセグメントに分割し、後で再構成する（例：コードベース全体に関数としてクエリを埋め込む）。
出力の隠蔽攻撃： 比喩、なぞなぞ、無害な置換語を使って出力を隠蔽させる。

Anthropic は、これらの jailbreak はしばしばモデルの実際の能力を低下させると指摘しています。GPQA Diamond ベンチマーク（博士レベルの科学的概念）では、特定の jailbreak 技術を適用した場合、モデルのパフォーマンスが 74% から最低 32% まで低下しました。

今後の研究方向性

Anthropic は、システムをさらに強化するための以下の方向性を検討しています：

分類器の信号を応答生成プロセスに直接統合する。
隠蔽に対してより耐性を持つモデルを訓練する。
自動レッドチームを活用して、分類器のための高品質な訓練データを生成する。