RiccardoBiosas/awesome-MLSecOps

해결하는 문제

MLSecOps(Machine Learning Security Operations)는 데이터 수집부터 모델 개발, 배포, 모니터링, 사고 대응에 이르기까지 기계 학습 수명 주기의 모든 단계에 보안을 통합하는 실무입니다. 이 프로젝트는 AI 보안에 대한 오픈소스 도구, 연구, 학습 자료를 찾을 수 있는 단일하고 체계화된 진입점이 없다는 문제를 해결합니다. 실무자가 적대적 테스트, 프라이버시 보호, 공급망 보호, LLM 애플리케이션 및 AI 에이전트 보안을 위한 리소스를 발견하도록 돕습니다.

작동 방식

이것은 수백 개의 오픈소스 도구, 프레임워크, 연구 저장소, 참고 자료를 명확한 범주로 그룹화한 큐레이션된 인덱스("Awesome" 목록)입니다. 주요 섹션은 다음과 같습니다.

• 오픈소스 보안 도구(모델·아티팩트 보안, 적대적 ML 테스트, 구현 AI·로보틱스 보안)
• LLM 보안 및 레드팀 도구(프롬프트 인젝션 스캐너, 제일브레이크 탐지기)
• AI 에이전트 보안 및 악성 에이전트 방어
• 프라이버시 보존 ML(차등 프라이버시, 암호화 계산)
• AI 공급망 보안(모델 서명, SBOM 생성)
• 위협 모델링, 공격 벡터, MLOps 인프라 취약점
• 교육 리소스: 블로그, 서적, 커뮤니티 리소스, 인포그래픽

이 목록은 또한 모델 직렬화 공격과 에이전트 보안과 같은 주제에 대한 심층 기사를 게시하는 관리자의 뉴스레터 "The MLSecOps Hacker"를 홍보합니다.

대상 독자

보안 엔지니어, ML 실무자, 개발자, AI 레드팀, 기계 학습 시스템 보안을 담당하는 모든 사람. 모델 견고성을 평가하거나, LLM 애플리케이션을 테스트하거나, 데이터 프라이버시를 감사하거나, AI 에이전트 런타임을 강화하려는 경우, 이 카탈로그는 시작점을 제공합니다. 관리자는 기여와 커뮤니티 참여도 장려합니다.

주요 특징

• 포괄적인 범위: 모델 직렬화 공격부터 구현 AI 보안까지, 카탈로그는 공격 및 방어 도구를 모두 다룹니다.
• 주목할 만한 항목으로는 ModelScan(모델 직렬화 보호), Garak(LLM 취약점 스캐너), Agent-Wiz(에이전트 워크플로우 자동 위협 모델링), Microsoft의 Agent Governance Toolkit이 있습니다.
• 잘 확립된 라이브러리(Adversarial Robustness Toolbox, Foolbox, CleverHans)와 새로운 연구 프로토타입(BadVLA, Provael for robotics)을 모두 포함합니다.
• 리소스는 빠른 탐색을 위해 그룹화되어 있으며, 프로젝트가 개념 증명인지 프로덕션 준비가 되었는지에 대한 명시적 메모가 있습니다.
• 적극적으로 유지 관리됨: README에는 최근 뉴스레터 기사와 유지 관리 배지, 명확한 기여 가이드가 있습니다.