0din-ai/ai-scanner

AI model safety scanner built on NVIDIA garak

해결하는 문제

조직이 AI 모델을 배포하기 전에 보안 평가를 수행할 수 있는 방법을 제공합니다. 이 도구는 AI 시스템을 위한 전용 침투 테스트 도구로 작동하며, 탈옥 및 운영 환경에서 악용될 수 있는 기타 보안 결함과 같은 취약성을 식별합니다.

작동 방식

Ruby on Rails로 구축되고 NVIDIA garak을 기반으로 하는 이 애플리케이션은 대상 AI 시스템에 대해 일련의 "프로브"(공격 프롬프트)를 실행합니다. 대상은 API 기반 LLM 또는 브라우저 기반 채팅 인터페이스가 될 수 있습니다. 시스템은 공격 성공률(ASR)을 추적하고 어떤 프로브가 모델의 안전 필터를 우회하는 데 성공했는지에 대한 상세한 로그와 보고서를 제공합니다.

대상 사용자

알려진 공격 벡터에 대해 AI 시스템의 안전성과 견고성을 검증해야 하는 보안 팀, AI 개발자 및 LLM을 배포하는 조직.

주요 특징

  • 광범위한 프로브 라이브러리: OWASP LLM Top 10과 일치하는 35개의 취약성 제품군에 걸친 179개의 커뮤니티 프로브를 포함합니다.
  • 실제 공격: 실제 0DIN에서 공개된 탈옥 및 각 공격의 여러 재타겟팅 가능한 변형이 포함되어 있습니다.
  • 엔터프라이즈 기능: 멀티 테넌트 배포, 예약 스캔 및 SIEM 통합(Splunk 또는 Rsyslog)을 지원합니다.
  • 포괄적인 보고서: 드릴다운 기능과 공격 성공률에 대한 트렌드 추적 기능이 있는 PDF 내보내기를 제공합니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트