Anthropic と AE Studio、二重用途知識制御のための GRAM を発表

Anthropic は AE Studio と協力して、勾配ルーティング補助モジュール（GRAM）を導入しました。この技術は、有益な目的と有害な目的の両方に使用可能な「二重用途知識」を、モデルの重み内に取り外し可能なコンパートメントに分離するように設計されています。このアプローチにより、開発者は特定の危険な機能を精密に削除したり、信頼できるユーザーにアクセスを許可したりできる一方で、複数の別々にフィルタリングされたモデルを訓練するという高コストな方法を回避できます。

二重用途知識の課題

最先端のAIモデルは膨大な知識の蓄積庫ですが、ウイルス学やサイバーセキュリティなどの特定の分野は「二重用途」として扱われます。なぜなら、これらはワクチンの開発に使われる一方で病原体の設計にも利用可能であり、脆弱性の修正に使われる一方で、それらを悪用する手段としても使えるからです。現在のセーフガードは主に拒否訓練や分類器を用いて入出力をスクリーニングしています。しかし、これらの方法はモデル内の根本的な知識を削除するものではなく、 jailbreak 攻撃に対して脆弱な状態を残します。

事前学習データのフィルタリングによってこの知識を削除することは可能ですが、これは粗雑な手法であり、異なる能力セットに対応するためには完全に別々のモデルを訓練する必要があります。大規模な最先端モデルでは、異なる展開ニーズに応じて複数のモデルバージョンを訓練するための計算コストは現実的ではなくなります。

GRAM の仕組み：勾配ルーティング補助モジュール

GRAM は、特定の知識カテゴリを専用で取り外し可能なモジュールに分離することで、データフィルタリングの利点を実現します。

アーキテクチャの実装

GRAM は、標準的な Transformer アーキテクチャの各層に追加のニューロンを追加します。これらのニューロンは「モジュール」として組織され、一つのモジュールが一つの二重用途カテゴリに割り当てられます。

学習プロセス

学習中に、モデルは以下のロジックでデータを処理します：

汎用テキスト： モデルは標準的な学習手順で学習します。
二重用途テキスト： モデルが特定の二重用途カテゴリ（例：ウイルス学）のテキストに遭遇した場合、一般知識を使って予測を行うことができますが、そのデータから学習できるのは、対応するウイルス学モジュール内の重みのみです。汎用的な重みは一時的に凍結されます。

このメカニズムにより、二重用途知識がネットワーク全体に広がるのではなく、特定のモジュールに蓄積されます。その結果、モジュールを削除することで能力を完全に削除できる一方、信頼できる展開では保持することも可能です。

実験結果とテスト

研究チームは、GRAMの能力削除効果と一般性能の維持を評価するため、3つの設定でテストを行いました。

シミュレートされたデータセットと現実的なデータセット

合成された子供向け物語を使用したテストでは、GRAM モデルは「忘れさせたい」トピックを再構成でき、その性能はそのトピックをフィルタリングしてから再学習したモデルとほぼ同等でした。より大きなテストでは、ウェブテキスト、コード、科学論文の混合データを使用し、4つの分野（ウイルス学、サイバーセキュリティ、核物理学、特殊なプログラミング言語）にモデルをルーティングしました。これらのモジュールを削除することで、データフィルタリングと同等の能力削除が実現しました。

知識の復元に対する耐性

GRAM は「アンリーニング（unlearning）」技術よりも堅牢であることが示されました。アンリーニングは知識を抑制するだけなので、微小な悪意あるデータによるファインチューニングで簡単に復元可能ですが、GRAM は少量の悪意あるデータを使って知識を復元しようとする攻撃に対しても抵抗し、データフィルタリングと同等の性能を発揮しました。

スケーラビリティとパフォーマンス

5000万から50億パラメータの7種類のモデルサイズで実験を行った結果、以下のことが確認されました：

GRAM はすべてのサイズでデータフィルタリングと同等のパフォーマンスを達成しました。
モジュールを「オン」または「オフ」にした場合の性能差は、モデルのスケーリングに伴って広がりました。
モデルサイズが大きくなるにつれて、保護を回避するためのコストと難易度が相対的に高くなりました。

制限と今後の展望

GRAM は現在、初期段階の研究であり、Claude ファミリを含むプロダクションモデルへの適用は行われていません。研究チームは以下の主要な制限を特定しました：

評価指標： 現在の評価は次のトークン予測能力に焦点を当てており、現実世界の下流タスクにおける性能は測定されていません。
知識の絡み合い： 一部の二重用途能力は、一般知識と深く絡み合っており、この手法では明確に分離できない可能性があります。
プロダクションスケール： この手法はまだプロダクションのトレーニングパイプラインや最先端スケールでのテストが行われていません。