confident-ai/deepteam

DeepTeam is a framework to red team LLMs and AI agents.

何を解決するか

DeepTeamは、LLMシステム（AIエージェント、RAGパイプライン、チャットボットなど）に対して赤チーム（敵対的侵入テスト）を構造的に実施する方法を提供します。開発者が本番環境に到達する前に、セキュリティ上の脆弱性、安全性のリスク、倫理的バイアスを特定し、リアルタイムでこれらの脅威をブロックするためのツールを提供します。

動作方法

DeepTeamはmodel_callbackを使用してLLMアプリケーションをラップし、動的に生成された敵対的攻撃にさらします。LLM-as-a-Judgeメトリクスを活用して応答を評価し、バイナリの合格/不合格スコアを生成します。このフレームワークは以下の機能をサポートしています：

  • 脆弱性プローブ：データプライバシー、責任あるAI、セキュリティ（例：SQLインジェクション）、安全性、エージェントリスクなど、50以上のカテゴリにまたがる事前定義された脆弱性。
  • 敵対的攻撃：20以上の研究に基づく手法を含み、単一ターン攻撃（プロンプトインジェクション、Base64エンコーディング、ロールプレイ）と、複数ターン会話攻撃（CrescendoおよびTree Jailbreaking）を含みます。
  • 安全性フレームワーク：業界標準（OWASP Top 10 for LLMs/Agents、NIST AI RMF、MITRE ATLAS）への即時マッピングを提供。
  • ガードレール：入力と出力をリアルタイムで監視し、本番環境で違反コンテンツをブロックするバイナリ分類器。

対象ユーザー

本フレームワークは、安全性およびセキュリティ準拠を検証する必要があるAI開発者やセキュリティエンジニア向けに設計されており、特に複雑なエージェントシステムやRAGパイプラインを開発している人にとって適しています。

主な特徴

  • 広範な攻撃ライブラリ：最先端の jailbreaking およびオブスカレーション技術を多数含む。
  • エージェント固有のテスト：ゴール盗難、再帰的ハッキング、ツールオーケストレーションの乱用など、エージェント特有のリスクに対する専用脆弱性。
  • フレームワーク統合：グローバルなAIセーフティ基準（OWASP、NIST、MITRE）と自動的に整合。
  • ローカル実行：ユーザーのマシン上でローカル実行可能で、DeepEvalフレームワークに基づいて構築されています。

関連

  • プロジェクト
    AISecurityLab/hackagent

    HackAgentは、AIエージェントのレッドチームによるセキュリティテストを自動化するオープンソースのPython SDK/CLIです。OpenAI、LangChain、LiteLLM、またはGoogle ADKで構築されたエージェントに対して、既知の攻撃（プロンプトインジェクション、ジェイルブレイク、ゴールハイジャック、ツール悪用）のライブラリを実行します。LLMが生成した敵対的プロンプトと判定用LLMを使用して脆弱性を検出します。結果はローカル（SQLite）に保存されるか、クラウドダッシュボードに同期され、pipまたはスタンドアロンバイナリとしてインストール可能です。

  • プロジェクト
    Tencent/AI-Infra-Guard

    AI‑Infra‑Guard (A.I.G) は、AI サービスのレッドチーム安全テストのためのオープンソースで Docker デプロイ可能なプラットフォームです。ライブ LLM エンドポイント、AI エージェントワークフロー、およびモデル制御プレーンコードの CVE、脱獄（ジェイルブレイク）の脆弱性、エージェントの制御喪失リスクをスキャンし、Web UI および REST API を通じて結果を公開します。

  • プロジェクト
    NVIDIA/garak

    garak は、大規模言語モデルのセキュリティ関連の失敗（幻覚、プロンプトインジェクション、データ漏洩、毒性、ジャイルブレイクなど）を自動的に探査するオープンソースのCLIフレームワークです。Hugging Face、OpenAI、Bedrock、NIM、Replicate、ローカルGGUF、および一般的なRESTモデルに対応し、多数の準備済みプローブと検出器を提供します。結果はPASS/FAILの表形式で表示され、詳細な分析用にJSONLログとして保存されます。

  • プロジェクト
    confident-ai/deepeval

    DeepEvalは、LLMを活用したアプリケーション（エージェント、チャットボット、RAGパイプライン）に対してpytestスタイルのテストを記述できるオープンソースのPythonフレームワークです。G-EvalやJevEvalのようなLLM-as-a-judgeスコアを含む30以上の組み込みメトリクスに加え、エージェント、RAG、マルチモーダル、バイアス関連のチェック機能を提供します。メトリクスはローカルで実行することも、任意のLLMを使用して実行することも可能です。このライブラリはLangChain、CrewAI、OpenAI、Anthropic、AWS AgentCore、Google ADK、LlamaIndex、さらにはTypeScript AI SDKと統合されており、デコレータやコールバックを使用して完全な実行トレースをキャプチャできます。シンプルなCLI (`deepeval test run …`) はCI/CDで動作し、オプションのConfident AIプラットフォームによりクラウドレポートとガバナンス機能が追加されます。`pip install -U deepeval` でインストールし、`LLMTestCase` オブジェクトを作成してメトリクスを選択し、実行するだけで、LLMの品質テストを従来のソフトウェアテストと同様に体系化できます。

  • プロジェクト
    tophant-ai/aibeat

    敵対的テストとランタイム証拠を使用して、LLM、RAG アプリケーション、および AI エージェントにおけるセキュリティ境界の越境を検出する生成AI向けのセキュリティ評価フレームワーク。