0din-ai/ai-scanner
AI model safety scanner built on NVIDIA garak
何を解決するか
組織がAIモデルを本番環境にデプロイする前に、セキュリティ評価を実施できる手段を提供します。AIシステムに対するペネトレーションテストツールとして機能し、本番環境で悪用される可能性のある、ジャイルブレイクやその他のセキュリティ脆弱性を特定します。
動作方法
Ruby on Railsで構築され、NVIDIA garakによって駆動されるアプリケーションは、AIターゲットに対して一連の「プローブ」（攻撃プロンプト）を実行します。これらのターゲットはAPIベースのLLMまたはブラウザベースのチャットインターフェースのいずれかです。システムは攻撃成功率（ASR）を追跡し、どの攻撃が成功したかに関する詳細なログとレポートを提供します。
対象ユーザー
AIモデルをデプロイするセキュリティチームや組織で、既知の脅威パターンに対するシステムの安全性と堅牢性を検証する必要がある方々です。
主な特徴
- 広範なプローブライブラリ: OWASP LLM Top 10に準拠した35の脆弱性ファミリーにまたがる179のコミュニティプローブを含みます。
- 現実世界の攻撃: シミュレーションではなく、0DINが公開したジャイルブレイクと複数のリターゲット可能なバリエーションを標準搭載しています。
- エンタープライズ機能: マルチテナントデプロイ、スケジュールスキャン、SIEM統合（Splunk、Rsyslog）をサポートします。
- 詳細なレポート: プローブごとの詳細なドリルダウンとASRスコアのトレンド追跡を可能にするPDFエクスポートを提供します。
関連
- プロジェクト
- プロジェクト
Tencent/AI-Infra-GuardAI‑Infra‑Guard (A.I.G) は、AI サービスのレッドチーム安全テストのためのオープンソースで Docker デプロイ可能なプラットフォームです。ライブ LLM エンドポイント、AI エージェントワークフロー、およびモデル制御プレーンコードの CVE、脱獄（ジェイルブレイク）の脆弱性、エージェントの制御喪失リスクをスキャンし、Web UI および REST API を通じて結果を公開します。
- プロジェクト
NVIDIA/garakgarak は、大規模言語モデルのセキュリティ関連の失敗（幻覚、プロンプトインジェクション、データ漏洩、毒性、ジャイルブレイクなど）を自動的に探査するオープンソースのCLIフレームワークです。Hugging Face、OpenAI、Bedrock、NIM、Replicate、ローカルGGUF、および一般的なRESTモデルに対応し、多数の準備済みプローブと検出器を提供します。結果はPASS/FAILの表形式で表示され、詳細な分析用にJSONLログとして保存されます。
- プロジェクト
confident-ai/deepteamLLMシステムに対する敵対的攻撃をシミュレートし、脆弱性を発見するオープンソースの赤チームフレームワーク。本番環境でのセキュリティを確保するためのガードレールも提供します。
- プロジェクト
cisco-ai-defense/skill-scannerSkill Scanner は、AI エージェントのスキルパッケージ（例：OpenAI Codex、Cursor、Claude）向けのオープンソースのセキュリティスキャナーです。シグネチャベースの YARA/YAML ルール、AST ベースのデータフロー解析、オプションの LLM を審判とする判定、CEL 決定レイヤーを組み合わせて、プロンプトインジェクション、データ外部送信、悪意のあるコードパターンを検出します。pip でインストールし、CLI または Python SDK から実行し、GitHub Actions や pre-commit フックを介して CI/CD に統合できます。検出結果は重大度レベルで報告されます。クリーンなスキャンはベストエフォートのみであり、安全性を保証するものではありません。