Llama Guard 4 と Llama Prompt Guard 2 のリリース

Meta は、12B のマルチモーダル安全モデルである Llama Guard 4 と、プロンプトインジェクションやジャイルブレイクを検出するための一連の分類器である Llama Prompt Guard 2 をリリースしました。これらのツールにより、開発者はユーザー入力とモデル出力の両方をフィルタリングし、本番環境での安全でないコンテンツ生成を防止できます。

Llama Guard 4：マルチモーダル安全モデレーション

Llama Guard 4 は、テキストと画像の両方で不適切なコンテンツを検出するよう設計された、12B パラメータの密なモデルです。24 GB の VRAM を搭載した単一 GPU でデプロイ可能であり、本番のモデレーションパイプラインに実用的な選択肢となります。このモデルはテキストのみおよび画像＋テキストの入力を評価でき、プライマリ LLM に到達する前にプロンプトをフィルタリングし、アシスタントの応答がユーザーに提供される前にレビューすることができます。

技術アーキテクチャとトレーニング

Llama Guard 4 は、密なフィードフォワード早期融合アーキテクチャを採用しています。これは、Mixture-of-Experts（MoE）アーキテクチャを使用する Llama 4 Scout モデルをプルーニングして作成されました。すべてのルーティングされたエキスパートとルータ層を除去し、共有エキスパートのみを残すことで、Meta は追加の事前学習を必要とせず、事前学習済みの共有エキスパート重みから初期化された密なモデルを開発しました。

Llama Guard 4 のトレーニングデータは、テキストのみとマルチモーダルデータの比率が 3:1 で構成されており、マルチ画像トレーニングデータ（最大 5 画像）と、以前 Llama Guard 3 で使用された人手で注釈付けされた多言語データを組み込んでいます。

ハザード分類とカスタマイズ

Llama Guard 4 は、MLCommons のハザード分類法で定義された 14 種類のハザードタイプと、コードインタプリタの悪用に基づいてコンテンツを分類します。サポートされているカテゴリは以下の通りです：

  • S1：暴力犯罪
  • S2：非暴力犯罪
  • S3：性犯罪
  • S4：児童性的搾取
  • S5：名誉毀損
  • S6：専門的助言
  • S7：プライバシー
  • S8：知的財産権
  • S9：無差別武器
  • S10：ヘイト
  • S11：自殺・自己傷害
  • S12：性的コンテンツ
  • S13：選挙
  • S14：コードインタプリタの悪用（テキストのみ）

ユーザーは、チャットテンプレートを通じて特定のカテゴリキーを除外することで（例：excluded_category_keys=["S9", "S2", "S1"]）、推論時に検出するカテゴリのリストを設定できます。

パフォーマンスベンチマーク

Llama Guard 3 と比較して、Llama Guard 4 は複数の領域で改善が見られ、特にマルチ画像と英語テキストのパフォーマンスが向上しています：

カテゴリ 再現率 偽陽性率 F1スコア Δ 再現率 Δ 偽陽性率 Δ F1スコア
英語 69% 11% 61% +4% -3% +8%
多言語 43% 3% 51% -2% -1% 0%
単一画像 41% 9% 38% +10% 0% +8%
マルチ画像 61% 9% 52% +20% -1% +17%

Llama Prompt Guard 2：インジェクションとジャイルブレイク検出

Llama Prompt Guard 2 は、86M と 22M パラメータを持つ 2 つの新しい分類器で構成されています。これらのモデルは、プロンプトインジェクションとジャイルブレイクの検出に特化しています。

Llama Prompt Guard 1 に対する主な改善点は以下の通りです：

  • パフォーマンス向上：検出能力が向上しました。
  • 効率性：新しい、より高速でコンパクトな 22M パラメータモデルです。
  • レジリエンス：対抗的攻撃に対してより耐性のあるトークナイゼーションです。
  • 分類の簡素化：二値分類システム（良性 vs 悪性）です。

実装とデプロイ

これらのモデルを使用するには、ユーザーは hf_xet と transformers ライブラリのプレビューリリース（v4.51.3-LlamaGuard-preview）をインストールする必要があります。

Llama Guard 4 は Llama4ForConditionalGeneration と AutoProcessor を使用して実装でき、Llama Prompt Guard 2 は Hugging Face の pipeline API または AutoModelForSequenceClassification API を通じてデプロイできます。

Sources