confident-ai/deepteam

DeepTeam is a framework to red team LLMs and AI agents.

해결하는 문제

DeepTeam은 LLM 시스템(예: AI 에이전트, RAG 파이프라인, 챗봇 등)에 대해 구조화된 방식으로 레드팀(적대적 침투 테스트)을 수행할 수 있도록 도와줍니다. 개발자들이 본격적인 운영 환경에 도달하기 전에 보안 취약점, 안전성 리스크, 윤리적 편향을 식별하고, 실시간으로 이러한 위협을 차단할 수 있는 도구를 제공합니다.

작동 방식

DeepTeam은 model_callback를 사용해 LLM 애플리케이션을 감싸고, 동적으로 생성된 적대적 공격에 노출시킵니다. LLM-as-a-Judge 메트릭을 활용해 응답을 평가하고 이진 성공/실패 점수를 생성합니다. 이 프레임워크는 다음과 같은 기능을 지원합니다:

  • 취약점 탐지: 데이터 프라이버시, 책임 있는 AI, 보안(예: SQL 인젝션), 안전성, 에이전트 리스크 등 50개 이상의 사전 정의된 취약점 범주.
  • 적대적 공격: 단일 턴 공격(프롬프트 인젝션, Base64 인코딩, 역할극)과 다단계 대화 공격(Crescendo 및 Tree Jailbreaking)을 포함한 20개 이상의 연구 기반 방법.
  • 안전성 프레임워크: OWASP Top 10 for LLMs/Agents, NIST AI RMF, MITRE ATLAS 등 산업 표준과 즉시 매핑 가능.
  • 가드레일: 입력과 출력을 실시간으로 모니터링하여 본격적인 운영 환경에서 위반 콘텐츠를 차단하는 이진 분류기.

대상 사용자

복잡한 에이전트 시스템이나 RAG 파이프라인을 개발하는 AI 개발자 및 보안 엔지니어를 위한 것입니다. 안전성과 보안 준수를 검증해야 하는 사용자에게 적합합니다.

주요 특징

  • 풍부한 공격 라이브러리: 최신 기술인 jailbreaking 및 오브스커레이션 기법을 대량 포함.
  • 에이전트 전용 테스트: 목표 도난, 재귀적 해킹, 도구 오케스트레이션 남용 등 에이전트 고유 리스크에 특화된 취약점.
  • 프레임워크 통합: OWASP, NIST, MITRE와 같은 글로벌 AI 안전성 기준과 자동으로 일치.
  • 로컬 실행: 사용자 기기에서 로컬로 실행 가능하며, DeepEval 프레임워크 기반으로 구축됨.

관련

  • 프로젝트
    AISecurityLab/hackagent

    HackAgent는 AI 에이전트의 레드팀 보안 테스트를 자동화하는 오픈소스 Python SDK/CLI입니다. OpenAI, LangChain, LiteLLM 또는 Google ADK로 구축된 에이전트를 대상으로 알려진 공격(프롬프트 인젝션, 탈옥, 목표 탈취, 도구 오용) 라이브러리를 실행합니다. LLM이 생성한 적대적 프롬프트와 판단용 LLM을 사용하여 실패를 감지합니다. 결과는 로컬(SQLite)에 저장되거나 클라우드 대시보드에 동기화되며, pip 또는 독립형 바이너리로 설치할 수 있습니다.

  • 프로젝트
    Tencent/AI-Infra-Guard

    AI‑Infra‑Guard (A.I.G)는 AI 서비스의 레드팀 보안 테스트를 위한 오픈 소스이자 Docker 배포 가능한 플랫폼입니다. 라이브 LLM 엔드포인트, AI 에이전트 워크플로우 및 모델 제어 평면 코드의 CVE, 탈옥(jailbreak) 취약성, 에이전트 제어 상실 위험을 스캔하고 웹 UI 및 REST API를 통해 결과를 제공합니다.

  • 프로젝트
    NVIDIA/garak

    garak은 대규모 언어 모델의 보안 관련 실패(환각, 프롬프트 인젝션, 데이터 유출, 독성, 재판도구 등)를 자동으로 탐지하는 오픈소스 CLI 프레임워크입니다. Hugging Face, OpenAI, Bedrock, NIM, Replicate, 로컬 GGUF, 일반 REST 모델을 지원하며, 준비된 프로브와 검출기 라이브러리를 제공합니다. 결과는 PASS/FAIL 표로 표시되며, 심층 분석을 위해 JSONL 로그로 저장됩니다.

  • 프로젝트
    confident-ai/deepeval

    DeepEval은 LLM 기반 애플리케이션(에이전트, 챗봇, RAG 파이프라인)에 대해 pytest 스타일의 테스트를 작성할 수 있는 오픈소스 Python 프레임워크입니다. G-Eval 및 JevEval과 같은 LLM-as-a-judge 점수를 포함하여 30개 이상의 내장 메트릭을 제공하며, 에이전트, RAG, 멀티모달 및 편향 관련 검사도 지원합니다. 메트릭은 로컬에서 실행하거나 선택한 모든 LLM을 사용하여 실행할 수 있습니다. 이 라이브러리는 LangChain, CrewAI, OpenAI, Anthropic, AWS AgentCore, Google ADK, LlamaIndex 및 TypeScript AI SDK와 통합되어 데코레이터와 콜백을 통해 전체 실행 추적을 캡처합니다. 간단한 CLI(`deepeval test run …`)는 CI/CD에서 작동하며, 선택 사항인 Confident AI 플랫폼은 클라우드 보고 및 거버넌스 기능을 추가합니다. `pip install -U deepeval`로 설치하고 `LLMTestCase` 객체를 작성한 뒤 메트릭을 선택하여 실행하면, LLM 품질 테스트를 기존 소프트웨어 테스트만큼 체계적으로 수행할 수 있습니다.

  • 프로젝트
    tophant-ai/aibeat

    적대적 테스트와 런타임 증거를 사용하여 LLM, RAG 애플리케이션 및 AI 에이전트에서 보안 경계 침범을 감지하는 생성형 AI를 위한 보안 평가 프레임워크입니다.