0din-ai/ai-scanner
AI model safety scanner built on NVIDIA garak
해결하는 문제
조직이 AI 모델을 배포하기 전에 보안 평가를 수행할 수 있는 방법을 제공합니다. 이 도구는 AI 시스템에 대한 침투 테스트 도구로 작동하며, 실제 운영 환경에서 악용될 수 있는 절차적 탈출(jailbreaks) 및 기타 보안 취약점을 식별합니다.
작동 방식
Ruby on Rails로 구축되었으며 NVIDIA garak으로 구동되는 애플리케이션은 AI 대상에 대해 일련의 "프로브"(공격 프롬프트)를 실행합니다. 이러한 대상은 API 기반의 LLM 또는 브라우저 기반 채팅 인터페이스일 수 있습니다. 시스템은 공격 성공률(ASR)을 추적하고, 어떤 공격이 성공했는지에 대한 상세한 로그와 보고서를 제공합니다.
대상 사용자
AI 모델을 배포하는 보안 팀 및 조직으로, 기존의 위협 패턴에 대한 시스템의 안전성과 강건성을 검증해야 하는 경우에 적합합니다.
주요 특징
- 풍부한 프로브 라이브러리: OWASP LLM Top 10에 부합하는 35개의 취약성 유형에 걸쳐 179개의 커뮤니티 프로브를 포함합니다.
- 현실 세계의 공격: 시뮬레이션 대신 0DIN이 공개한 절차적 탈출 및 여러 리타겟 가능한 변형을 포함합니다.
- 엔터프라이즈 기능: 다중 테넌트 배포, 스케줄링된 스캔, SIEM 통합(Splunk, Rsyslog)을 지원합니다.
- 상세한 보고서: 프로브별 세부 분석과 ASR 점수의 추세 분석을 지원하는 PDF 내보내기 기능을 제공합니다.
관련
- 프로젝트
- 프로젝트
Tencent/AI-Infra-GuardAI‑Infra‑Guard (A.I.G)는 AI 서비스의 레드팀 보안 테스트를 위한 오픈 소스이자 Docker 배포 가능한 플랫폼입니다. 라이브 LLM 엔드포인트, AI 에이전트 워크플로우 및 모델 제어 평면 코드의 CVE, 탈옥(jailbreak) 취약성, 에이전트 제어 상실 위험을 스캔하고 웹 UI 및 REST API를 통해 결과를 제공합니다.
- 프로젝트
NVIDIA/garakgarak은 대규모 언어 모델의 보안 관련 실패(환각, 프롬프트 인젝션, 데이터 유출, 독성, 재판도구 등)를 자동으로 탐지하는 오픈소스 CLI 프레임워크입니다. Hugging Face, OpenAI, Bedrock, NIM, Replicate, 로컬 GGUF, 일반 REST 모델을 지원하며, 준비된 프로브와 검출기 라이브러리를 제공합니다. 결과는 PASS/FAIL 표로 표시되며, 심층 분석을 위해 JSONL 로그로 저장됩니다.
- 프로젝트
- 프로젝트
cisco-ai-defense/skill-scannerSkill Scanner는 AI 에이전트 스킬 패키지(예: OpenAI Codex, Cursor, Claude)를 위한 오픈소스 보안 스캐너입니다. 서명 기반 YARA/YAML 규칙, AST 기반 데이터 흐름 분석, 선택적 LLM-as-a-judge, CEL 결정 계층을 결합하여 프롬프트 주입, 데이터 유출, 악성 코드 패턴을 탐지합니다. pip로 설치하고 CLI 또는 Python SDK에서 실행하며 GitHub Actions 또는 pre-commit 훅을 통해 CI/CD에 통합할 수 있습니다. 발견 사항은 심각도 수준으로 보고됩니다. 깨끗한 스캔은 최선의 노력일 뿐이며 안전을 보장하지 않습니다.