AprielGuard: 現代LLMシステムにおける安全性と敵対的ロバスト性のためのガードレール

Hugging Face と ServiceNow AI は AprielGuard を発表しました。これは 8B パラメータのセーフガードモデルで、16 種類の安全リスクと幅広い敵対的攻撃を検出するよう設計されています。この統合モデルは、従来の安全分類器の限界を克服し、マルチターン会話、長文コンテキスト、複雑なエージェントワークフローをサポートし、脆弱で断片的なガードレールシステムの必要性を減らします。

統合安全性と敵対的検出

AprielGuard は安全リスク分類と敵対的攻撃検出の両方に単一インターフェースを提供します。以下の 3 つの主要入力形式に対応します：単独プロンプト、マルチターン会話、エージェントワークフロー（ツール呼び出し、推論トレース、メモリ、システムコンテキストを含む）。

安全分類

SALAD‑Bench に触発され、モデルは安全リスクを 16 の明確なカテゴリに分類します：

  • O1-O3: 有害コンテンツ、不公平な表現、成人向けコンテンツ
  • O4-O5: 公的情報への信頼低下、誤概念／偽信念の拡散
  • O6-O8: リスクの高い金融慣行、取引・コンプライアンス、危険情報の拡散
  • O9-O11: プライバシー侵害、セキュリティ脅威、名誉毀損
  • O12-O14: 詐欺または欺瞞的行為、影響作戦、違法活動
  • O15-O16: 誘導と操作、個人財産の侵害

敵対的攻撃検出

AprielGuard は、プロンプトインジェクション、ジャイルブレイク、チェーン・オブ・ソート破壊、コンテキストハイジャック、メモリ汚染、マルチエージェントエクスプロイトシーケンスなど、安全メカニズムを回避しようとする広範な敵対的パターンを検出します。モデルはこれらの脅威に対して二値分類（敵対的 vs. 非敵対的）を提供します。

技術アーキテクチャとトレーニング

AprielGuard は Apriel-1.5 Thinker Base 系列のダウンサイス 8B パラメータ版をベースに、因果的デコーダーオンリートランスフォーマーアーキテクチャを採用しています。

デュアルモード動作

レイテンシと可解性のトレードオフを調整するため、モデルは 2 つのモードを提供します：

  • Reasoning Mode: 分類決定に対する構造化された説明を出力し、説明可能性を提供します。
  • Fast Mode: 低レイテンシの本番パイプライン向けに分類結果のみを返します。

トレーニング手法

モデルはシーケンス長最大 32k トークン、bfloat16 精度で 3 エポック学習されました。トレーニングデータセットは以下の専門ソースから構成されています：

  • Synthetic Data: Mixtral-8x7B と検閲なしモデルで生成し、SyGra フレームワークと NVIDIA NeMo Curator を用いてマルチターン会話データセットを作成。
  • Data Augmentation: 文字レベルノイズ、タイプミス、リートスピーク、構文再配置を加え、非標準テキストへの耐性を向上。
  • Agentic Workflows: 計画、ツール呼び出し、実行トレースを含むシミュレーションシナリオで、特定セグメント（例：ツール出力やメモリ状態）を汚染し攻撃ベクトルを模倣。
  • Long Context: RAG ワークフローや運用レポートを含む専門データセットで、最大 32k トークンの「干し草の中の針」リスク検出をテスト。

性能と評価

AprielGuard は公開ベンチマーク、社内エージェントベンチマーク、多言語データセットで評価されました。

安全性と敵対的ベンチマーク

公開安全ベンチマークでは、HarmBench（F1=1.00）、SimpleSafetyTests（F1=0.98）、XSTest（F1=0.94）で高いスコアを達成。敵対的検出では、ChatGPT-Jailbreak-Prompts（F1=1.00）と Salad-Data（F1=0.98）で優れた性能を示す一方、prompt-injections（F1=0.68）など特定のプロンプトインジェクションベンチマークでは変動あり。

長文コンテキストと多言語ロバスト性

長文コンテキスト評価（最大 32k トークン）では、非推論モードで安全リスクの F1=0.97、推論モードで F1=0.95 を維持。敵対的攻撃では、推論モードが F1=0.94、非推論モードが F1=0.88 と、推論モードで精度が向上。

多言語能力は、フランス語、カナダフランス語、ドイツ語、日本語、オランダ語、スペイン語、ポルトガル語（ブラジル）、イタリア語の 8 言語で、MADLAD400-3B-MT モデルによる翻訳を使用し、各言語設定で妥当な性能を示しました。

制限事項とデプロイ時の考慮点

統合セーフガードを提供する一方で、開発者は以下の制限を指摘しています：

  • Domain Sensitivity: 法律や医療など高度に専門化された技術領域では性能が低下する可能性。
  • Latency Trade-off: 推論モードは計算コストとレイテンシが増加。
  • Consistency: 推論有効モードと非推論モード間で分類結果に時折不整合が見られる。
  • Language Coverage: 英語以外の 8 言語でテストは行ったが、本番環境での展開前に十分なキャリブレーションが推奨される。

Sources