jiep/offensive-ai-compilation

해결하는 문제

이 프로젝트는 "공격적 AI"에 초점을 맞춘 큐레이션된 중앙 집중식 리소스 모음을 제공합니다. 연구자, 보안 전문가 및 개발자가 AI 모델이 어떻게 악용될 수 있는지, 취약점을 어떻게 평가하는지, 그리고 이를 보호하기 위해 어떤 방어 조치가 존재하는지 이해하도록 돕습니다.

작동 방식

이 저장소는 공격 벡터 및 응용 분야별로 정리된 구조화된 지식 베이스 역할을 합니다. 적대적 머신러닝을 추출(extraction), 반전(inversion), 포이즈닝(poisoning), 회피(evasion)라는 네 가지 주요 공격 유형으로 분류하고, 각 유형에 대한 학술 논문, 도구 및 방어 전략 링크를 제공합니다. 또한 모의 해킹, 악성 코드, 생성형 AI 조작과 같은 실제 공격 사례도 다룹니다.

대상 독자

이 편집물은 머신러닝 시스템의 위협 환경을 연구하고, 모델의 견고성을 평가하거나, 적대적 공격에 대한 보안 대책을 구현해야 하는 보안 연구자, AI 엔지니어 및 학계 종사자를 대상으로 합니다.

주요 특징

• 적대적 ML 분류 체계: 추출, 반전, 포이즈닝, 회피 공격에 대한 상세 분석.
• 방어 전략: 차분 프라이버시, 적대적 학습, 데이터 정제 등을 포함한 엄선된 대책 목록.
• 도구 리소스: ART (Adversarial Robustness Toolbox) 및 Cleverhans와 같은 확립된 프레임워크에 대한 참조.
• 생성형 AI 보안: 오디오, 이미지, 비디오 및 텍스트 모델을 탐지하고 조작하는 방법에 대한 특정 섹션.
• 학술적 기반: 심층 연구를 위한 동료 심사를 거친 논문 및 연구 링크의 광범위한 컬렉션.