rogue-security/rogue

AI Agent Evaluator & Red Team Platform

해결하는 문제

Rogue는 AI 에이전트를 배포하기 전에 보안 및 평가를 철저히 테스트하기 위한 플랫폼입니다. AI 에이전트가 비즈니스 정책을 위반하거나 악성 공격에 노출되어 보안 취약점을 유발하는 것을 방지합니다.

작동 방식

이 플랫폼은 클라이언트-서버 아키텍처를 사용하여 여러 프로토콜(A2A, MCP, 또는 직접적인 Python 호출)을 통해 AI 에이전트를 탐색합니다. 주로 다음 두 가지 모드로 작동합니다:

  1. 자동 평가: 사전 정의된 비즈니스 정책과 시나리오에 따라 에이전트를 테스트하여 준수 여부와 예상되는 동작을 확인합니다.
  2. 레드팀: 프롬프트 인젝션, 사회공학 등 75개 이상의 취약점과 20가지 이상의 공격 기법을 사용하여 악성 공격을 시뮬레이션하여 보안적 구멍을 발견합니다.

결과는 "판정 LLM"에 의해 분석되며, CVSS 기반의 위험 시스템을 사용해 취약성의 심각도를 평가합니다.

대상 사용자

AI 에이전트의 동작을 검증하고, 펜테스트를 수행하며, OWASP, MITRE ATLAS, EU AI Act 등의 프레임워크 준수를 보장해야 하는 개발자 및 보안 감사 담당자.

주요 기능

  • 포괄적인 레드팀 기능: 12개 카테고리에 걸쳐 75개 이상의 취약점과 20개 이상의 공격 기법을 포함합니다.
  • 유연한 통합: Google의 Agent-to-Agent(A2A) 프로토콜, Model Context Protocol(MCP), 그리고 직접적인 Python 엔트리포인트를 지원합니다.
  • 준수 매핑: NIST AI RMF, GDPR, ISO/IEC 42001 등의 산업 표준과 일치합니다.
  • 다양한 인터페이스: 인터랙티브 테스트용 TUI, CI/CD 파이프라인용 CLI, 독립 서버를 제공합니다.
  • 결정론적 테스트: 재현 가능한 보안 스캔을 위해 랜덤 시드를 지원합니다.

관련

  • 프로젝트
    Tencent/AI-Infra-Guard

    AI‑Infra‑Guard (A.I.G)는 AI 서비스의 레드팀 보안 테스트를 위한 오픈 소스이자 Docker 배포 가능한 플랫폼입니다. 라이브 LLM 엔드포인트, AI 에이전트 워크플로우 및 모델 제어 평면 코드의 CVE, 탈옥(jailbreak) 취약성, 에이전트 제어 상실 위험을 스캔하고 웹 UI 및 REST API를 통해 결과를 제공합니다.

  • 프로젝트
    AISecurityLab/hackagent

    HackAgent는 AI 에이전트의 레드팀 보안 테스트를 자동화하는 오픈소스 Python SDK/CLI입니다. OpenAI, LangChain, LiteLLM 또는 Google ADK로 구축된 에이전트를 대상으로 알려진 공격(프롬프트 인젝션, 탈옥, 목표 탈취, 도구 오용) 라이브러리를 실행합니다. LLM이 생성한 적대적 프롬프트와 판단용 LLM을 사용하여 실패를 감지합니다. 결과는 로컬(SQLite)에 저장되거나 클라우드 대시보드에 동기화되며, pip 또는 독립형 바이너리로 설치할 수 있습니다.

  • 프로젝트
    Kritt-ai/open-kritt

    open·kritt는 Codex, Claude Code, Grok Build 등으로 AI 에이전트를 오케스트레이션하는 오픈소스이며 자체 호스팅 가능한 플랫폼으로, 코드 리포지토리에서 사용자 정의 프롬프트 기반 보안 워크플로우를 실행합니다. 집중된 작업을 구성하고, 병렬로 Docker 컨테이너에서 실행하며, 발견 결과를 검증하고 중복 제거 및 순위 매기고, 완전한 보고서 번들을 내보냅니다. 버그 바운티 연구자와 DevSecOps를 위한 웹 UI와 헤드리스 CLI를 제공하며, 모든 모델 제공자와 호환되며 AGPL-3.0 라이선스로 배포됩니다.

  • 프로젝트
    devchilll/scope

    엔터프라이즈 AI 에이전트를 위한 프로덕션 준비 거버넌스 프레임워크로, 안전 가드레일, 규정 준수 규칙, IAM, 인간 개입 에스컬레이션을 구현합니다.

  • 프로젝트
    plurai-ai/intellagent

    수천 개의 현실적인 엣지 케이스 상호작용을 시뮬레이션하여 대화형 AI 에이전트를 스트레스 테스트하고, 실패 지점을 찾아 성능을 최적화하는 멀티 에이전트 프레임워크.