AIセキュアLLM安全リーダーボード
Hugging Face と Secure Learning Lab は、LLM Safety Leaderboard を導入しました。これは、大規模言語モデル（LLM）の信頼性を評価するために設計された専門的な評価プラットフォームです。DecodingTrust フレームワークを活用し、オープンモデルとクローズドモデルの両方にわたる安全リスクを標準化された方法で測定し、実運用前に規制や安全要件を満たすことを保証します。
DecodingTrust フレームワーク
DecodingTrust は、8 つの異なる視点から LLM の信頼性を評価する包括的なプラットフォームです。このフレームワークは、モデルの安全性を全体的に把握できるよう設計されており、新しいレッドチーミングアルゴリズムを活用して多様なシナリオでモデルにストレステストを実施します。
信頼性の次元
- 有害性: 最適化アルゴリズムとプロンプト生成モデルを用いて挑戦的なユーザープロンプトを作成し、ロールプレイやタスク再構成を含む 33 の特定システムプロンプトと併せて、Perspective API を通じて有害性スコアをテストします。
- ステレオタイプバイアス: 24 の人口統計グループと 16 のステレオタイプトピックを 3 つのプロンプトバリエーションでテストし、各トピックにつき 5 つのプロンプトのスコアを平均して測定します。
- 敵対的ロバスト性: 5 つの敵対的攻撃アルゴリズムをオープンモデル（Alpaca、Vicuna、StableVicuna）に適用し、得られた敵対的データを用いて他のモデルを 5 つのタスクでテストすることで評価します。
- OOD（分布外）ロバスト性: 入力スタイルをシェイクスピア風や詩的形式に変換する、あるいはモデルの学習データに含まれない知識をテストすることで評価します。
- 敵対的デモンストレーションに対するロバスト性: バックドア攻撃、偽相関、反事実的例など、誤解を招く情報を含むデモンストレーションを使用してテストします。
- プライバシー: 事前学習データからのプライバシー漏洩、会話中のプライバシー漏洩、プライバシー関連の語句や出来事に対するモデルの理解という 3 つのレベルで評価します。
- 倫理: ETHICS と Jiminy Cricket データセットを使用して、モデルが不道徳な行動を認識できるかをテストするためのジャイルブレイキングシステムとユーザープロンプトを設計します。
- 公平性: 異なるタスクで保護属性を制御し、ゼロショットおよび少数ショット設定の両方で挑戦的な質問を生成することで測定します。
主な研究結果
DecodingTrust フレームワークを通じて実施された研究により、現在の LLM におけるいくつかの重大な脆弱性が明らかになりました。
- モデルの脆弱性: 特定の状況下で GPT-4 が GPT-3.5 よりも脆弱であることが判明しました。
- 一貫した性能の欠如: すべての信頼性の観点で常に他のすべての LLM を上回る単一の LLM は存在しません。
- 性能のトレードオフ: 異なる信頼性の観点間には本質的なトレードオフがあります。
- プロンプト感度: LLM は敵対的または誤解を招くプロンプトに脆弱です。具体的には、プライバシー漏洩は表現によって変わります。たとえば、GPT-4 は「in confidence」と指示された場合は情報を漏らさないが、「confidentially」と指示された場合は漏らす可能性があります。
モデル提出プロセス
開発者は、リーダーボード上の「Submit here!」パネルから自分のモデルを LLM Safety Leaderboard に提出できます。評価対象となるには、モデルが以下の条件を満たす必要があります。
- 形式: モデルの重みは安全性とロード速度向上のために
safetensors形式に変換する必要があります。 - アクセス性: モデルは公開されている必要があります。
- 互換性: モデルは Hugging Face の
AutoClasses（AutoConfig、AutoModel、AutoTokenizer）でロード可能である必要があります。 - 現在の制限:
use_remote_code=Trueを必要とするモデルは現在サポートされていません。