AISecurityLab/hackagent

What it solves

HackAgentは、AIエージェントの脆弱性を発見するために設計されたセキュリティ・レッドチーミング・ツールキットです。従来のセキュリティツールでは検出できない、プロンプトインジェクション、ジェイルブレイク、ゴールハイジャック、およびツールの誤用といったリスクに対処します。

How it works

これは、さまざまな研究に基づいた攻撃手法（PAIR、TAP、およびAutoDAN-Turboなど）をオーケストレートするAttack Engine、敵対的プロンプトを作成するGenerator LLM、および安全対策が回避されたかどうかを評価するJudge LLMで構成されるモジュール式パイプラインを使用します。このプロセスは、LangChain、OpenAI SDK、LiteLLM、およびGoogle ADKのようなフレームワーク上に構築されたターゲットエージェントをテストするために自動化されています。

Who it’s for

AIエージェントの堅牢性を評価し、強化する必要があるセキュリティ研究者、開発者、およびAIセーフティ・プラクティショナーです。

Highlights

• Automated Red-Teaming: さまざまな高度な攻撃手法を使用して、セキュリティ上の欠陥の発見を自動化します。
• Broad Framework Support: LangChainやOpenAI SDKを含む主要なAIエージェント・フレームワークと互換性があります。
• Flexible Reporting: ローカルのSQLiteベースのダッシュボードと、クラウドベースのレポートプラットフォームの両方を提供します。
• Easy Deployment: Python SDK、CLI、または複数のプラットフォーム向けのスタンドアロン・バイナリとして利用可能です。