0din-ai/ai-scanner

AI model safety scanner built on NVIDIA garak

解決する課題

組織がAIモデルをデプロイする前に、セキュリティ評価を実施する方法を提供します。これはAIシステム専用のペネトレーションテストツールとして機能し、ジェイルブレイクや、本番環境で悪用される可能性のあるその他のセキュリティ上の欠陥などの脆弱性を特定します。

仕組み

Ruby on Railsで構築され、NVIDIA garakによって駆動されるこのアプリケーションは、対象となるAIシステムに対して一連の「プローブ」(攻撃プロンプト)を実行します。これらの対象は、APIベースのLLMまたはブラウザベースのチャットインターフェースです。システムは攻撃成功率(ASR)を追跡し、どのプローブがモデルのセーフティフィルターの回避に成功したかについて、詳細なログとレポートを提供します。

対象者

既知の攻撃ベクトルに対してAIシステムの安全性と堅牢性を検証する必要がある、セキュリティチーム、AI開発者、およびLLMを導入している組織。

ハイライト

  • 広範なプローブライブラリ: OWASP LLM Top 10に準拠した、35の脆弱性ファミリーにわたる179のコミュニティプローブが含まれています。
  • 実世界の攻撃: 実際に0DINで公開されたジェイルブレイクと、各攻撃の複数の再ターゲット可能なバリエーションが同梱されています。
  • エンタープライズ機能: マルチテナント展開、スケジュールスキャン、およびSIEM統合(SplunkまたはRsyslog)をサポートしています。
  • 包括的なレポート: ドリルダウン機能と攻撃成功率のトレンド追跡を備えたPDFエクスポートを提供します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト