AgentSafeLabs/safelabs-eval

safelabs-eval – AI エージェントのためのレッドチーム評価フレームワーク

概要 – safelabs-eval は、エージェントスタイル の LLM アプリケーション（例：LangChain エージェント、CrewAI クルー、AutoGen ボットなど）の安全性を自動的にテストできるオープンソースの Python パッケージです。300 の厳選された敵対的プロンプト のライブラリが同梱されており、10 のセキュリティカテゴリ（OWASP に着想を得た「ASI01-ASI10」分類法）をカバーしています。各プロンプトについて、フレームワークはリクエストをエージェント（HTTP エンドポイントまたは直接の Python 呼び出し可能オブジェクト経由）に送信し、応答に対して パターンベースの検出器（純粋な Python の正規表現/ヒューリスティックチェック）を実行します。結果は構造化レポートで、各インタラクションを VULNERABLE、FAIL、UNCERTAIN、または PASS に分類し、人間が読めるテキストまたは CI パイプライン用の JSON として出力できます。

重要性 – 現代の LLM エージェントは本番環境にデプロイされていますが、体系的な敵対的セキュリティテストのためのツールはほとんどありません。safelabs-eval は、エージェントコードの変更、追加の LLM 呼び出し、または専有インフラストラクチャを必要とせずに、そのギャップを埋めます。開発者に、プロンプトインジェクション、データ漏洩、ツール使用の安全性、幻覚、その他のエージェント固有のリスクを明らかにするための迅速で再現可能な方法を提供します。

主な機能

• フレームワーク非依存：HTTP で公開されたエージェント、または一般的なエージェントライブラリ（LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）用のアダプタと連携します。コアパッケージのみが必要です。アダプタはオプションの追加です。
• 300 の敵対的プロンプト：ASI カテゴリごとに 30 のプロンプトがあり、各プロンプトには難易度レベル（レベル 1-3）と MITRE ATLAS テクニック ID などのメタデータがラベル付けされています。
• ゼロ LLM スコアリング：検出器は純粋な Python パターンマッチャーであるため、評価は追加のモデルコストを追加しません。
• CLI と Python API：safelabs run … で迅速なコマンドラインテスト、run_eval() でスクリプトやテストスイートでのプログラム的使用が可能です。
• 構造化出力：JSON レポートには、プロンプトごとの判定、信頼度スコア、修復ヒントが含まれ、自動化された CI/CD チェックに適しています。
• 拡張可能なアーキテクチャ：検出器は BaseDetector クラスを継承します。新しい検出器は Scorer に追加して登録できます。

使用方法

1. パッケージをインストールします（Python 3.11+）：pip install safelabs-eval。
2. CLI – エージェントエンドポイントを指定します：

   safelabs run --target http://localhost:8000/chat --category all --output json
   

3. Python – 文字列を受け取り文字列を返す任意の呼び出し可能オブジェクトをラップします：

   from safelabs import run_eval
   async def my_agent(prompt: str) -> str: …
   result = asyncio.run(run_eval(my_agent, categories=["ASI01", "ASI06"]))
   result.summary()
   

4. 生成されたレポートを検査します。VULNERABLE または FAIL のエントリはレビューして緩和する必要があります。

制限事項 – 検出器は正規表現/ヒューリスティックパターンに依存しているため、微妙または新しい攻撃を見逃す可能性があり、誤検知を生成する可能性があります。プロンプトセットは英語のみで単一ターンです。マルチターンのダイナミクスは単一プロンプト内でのみシミュレートされます。信頼度スコアはヒューリスティックな証拠レベルであり、校正された確率ではありません。

メンテナー – このプロジェクトは Safe Labs AI Inc. によって開発され、Apache 2.0 ライセンスの下でリリースされています。DOI リンクされたデータセット（SafeAgent-300）と、いくつかのプレプリント論文を含む研究トラックが含まれています。

---

TL;DR – safelabs-eval は、LLM エージェント向けの純粋な Python、フレームワーク非依存のレッドチームテストスイートであり、追加のモデルコストなしでセキュリティの弱点を明らかにするために、300 の敵対的プロンプトとパターンベースの検出器を提供します。