AISecurityLab/hackagent

HackAgent is an open-source security toolkit to detect vulnerabilities of your AI Agents

HackAgent – AI 에이전트 보안 레드팀 툴킷

소개 – HackAgent는 AI 에이전트(챗봇, 자율형 어시스턴트 등)의 안전성을 조사할 수 있는 Python SDK 및 명령줄 도구입니다. 알려진 공격 기법(프롬프트 인젝션, 탈옥, 목표 탈취, 도구 오용) 라이브러리와 적대적 프롬프트를 생성하여 대상 에이전트에 실행하고, 에이전트의 안전 장치가 우회되었는지 판단하는 소규모 프레임워크를 포함하고 있습니다.

중요성 – LLM 기반 에이전트가 더욱 자율화됨에 따라, 기존 소프트웨어 테스트 도구는 모델의 추론을 조작하거나 도구 사용 능력을 악용하는 공격을 놓치고 있습니다. HackAgent는 보안 연구원과 AI 안전 엔지니어가 자체 공격 하네스를 구축할 필요 없이 이러한 위험을 평가할 수 있도록 연구 기반의 즉시 사용 가능한 파이프라인을 제공합니다.

핵심 구성 요소

구성 요소	역할
공격 엔진	공격 카탈로그(AdvPrefix, AutoDAN‑Turbo, PAIR, TAP, FlipAttack, BoN, h4rm3l, CipherChat, PAP, Static Template)를 실행합니다.
생성기	주어진 대상에 대한 적대적 프롬프트를 만드는 LLM.
판단기	공격이 성공했는지(즉, 대상이 안전 정책을 위반했는지) 결정하는 LLM.
대상 에이전트	테스트하려는 AI 에이전트 – 지원되는 SDK로 구축된 모든 에이전트.
데이터셋	내장 벤치마크 세트 및 사용자 정의 JSON, HuggingFace 또는 URL 기반 데이터셋을 로드하는 기능.

지원되는 AI 프레임워크

Google ADK
OpenAI SDK
LiteLLM
LangChain

이러한 프레임워크로 구축된 모든 에이전트는 최소한의 구성으로 파이프라인에 연결할 수 있습니다.

설치 및 실행

# Typical Python install
python3 -m venv .venv && source .venv/bin/activate
pip install hackagent

로컬 사용 시 API 키는 필요하지 않습니다.

Linux, macOS 및 Windows용 독립형 바이너리도 제공되므로 Python 런타임 없이 hackagent를 실행할 수 있습니다. (유일한 외부 요구 사항은 hackagent web 명령에 필요한 Playwright 브라우저입니다.)

일반적인 워크플로우 (CLI 예시)

# 1. Choose a target (e.g., an OpenAI‑based chatbot)
export OPENAI_API_KEY=…
# 2. Run a suite of attacks against it
hackagent run --target openai --attacks all --dataset default
# 3. View results locally
hackagent report --format html > report.html
# 4. Optional: launch the interactive dashboard
hackagent web

CLI는 실시간 진행 상황을 보여주는 TUI를 제공하며 결과를 로컬 SQLite 파일에 저장합니다. HackAgent 클라우드 서비스용 API 키를 구성하면 동일한 데이터를 원격 대시보드에 동기화할 수 있습니다.

보고 및 책임 있는 사용

로컬 모드 – SQLite 데이터베이스, 오프라인 전용.
클라우드 모드 – HackAgent SaaS 플랫폼에 동기화(API 키는 CLI 프로세스를 절대 떠나지 않음).
이 프로젝트에는 책임 있는 공개(Responsible Disclosure) 가이드와 테스트가 승인되어야 한다는 명확한 정책이 포함되어 있습니다.

프로젝트 상태 (README 참조)

Python 3.10+ 필요, Apache‑2.0 라이선스.
CI 배지, 테스트 커버리지 배지 및 자동화된 포맷팅 도구(Ruff, uv, Commitizen)는 활발히 유지 관리되는 코드베이스임을 나타냅니다.
커뮤니티 토론 및 보안 정책이 제공됩니다.

요약

HackAgent는 LLM 기반 에이전트의 레드팀 스타일 보안 테스트를 위해 특별히 제작된 오픈소스 툴킷입니다. 검증된 공격 카탈로그, 생성/판단 루프, 주요 LLM SDK와의 통합 기능을 제공하며, 이 모든 것이 Python 패키지와 크로스 플랫폼 CLI로 패키징되어 있습니다.