microsoft/PyRIT
The Python Risk Identification Tool for generative AI (PyRIT) is an open source framework built to empower security professionals and engineers to proactively identify risks in generative AI systems.
해결하는 문제
PyRIT는 보안 전문가와 엔지니어가 생성형 AI 시스템의 리스크를 능동적으로 식별하는 데 도움을 줍니다. AI 모델의 취약점과 잠재적 실패를 찾는 과정을 자동화하는 프레임워크를 제공하여 AI 레드팀 테스트를 보다 접근하기 쉽게 만듭니다.
작동 방식
PyRIT은 리스크 식별 과정을 촉진하도록 설계된 오픈소스 Python 프레임워크입니다. 사용자가 다양한 도구를 통합하여 테스트 대상 시스템(SUT)을 테스트할 수 있도록 하여 생성형 AI의 보안 테스트에 대해 보다 구조적이고 전략적인 접근을 가능하게 합니다.
대상 사용자
생성형 AI 시스템의 안전성을 보장하기 위해 레드팀 테스트를 수행해야 하는 보안 전문가, 보안 엔지니어 및 AI 연구자입니다.
주요 특징
- AI 레드팀 테스트를 위한 자체 오픈소스 프레임워크
- 생성형 AI의 능동적 리스크 식별을 위해 설계됨
- 오픈소스 도구를 통해 AI 레드팀 테스트의 대중화 실현
관련
- 프로젝트
Kritt-ai/open-krittopen·kritt는 Codex, Claude Code, Grok Build 등으로 AI 에이전트를 오케스트레이션하는 오픈소스이며 자체 호스팅 가능한 플랫폼으로, 코드 리포지토리에서 사용자 정의 프롬프트 기반 보안 워크플로우를 실행합니다. 집중된 작업을 구성하고, 병렬로 Docker 컨테이너에서 실행하며, 발견 결과를 검증하고 중복 제거 및 순위 매기고, 완전한 보고서 번들을 내보냅니다. 버그 바운티 연구자와 DevSecOps를 위한 웹 UI와 헤드리스 CLI를 제공하며, 모든 모델 제공자와 호환되며 AGPL-3.0 라이선스로 배포됩니다.
- 프로젝트
tophant-ai/aibeatAI Beat는 LLM과 AI 에이전트의 텍스트 응답 및 기반 런타임 실행 추적을 모두 분석하여 숨겨진 보안 위험을 탐지하는 보안 평가 프레임워크입니다.
- 프로젝트
Tracer-Cloud/opensreOpenSRE는 AI 기반 사이트 신뢰성 엔지니어링 에이전트를 위한 오픈소스 프레임워크입니다. 60개 이상의 관찰 가능성, 클라우드 및 인시던트 관리 도구에 연결하고 관련 컨텍스트를 가져오고 도구 호출 추론 루프를 실행하며 증거 기반 진단 또는 수정 작업을 반환합니다. 사용자는 대화형 셸, 헤드리스 CLI 또는 Python API를 통해 상호 작용할 수 있으며 관리형 클라우드 게이트웨이, 자체 호스팅 컨테이너 또는 EC2 AMI를 통해 시스템을 배포할 수 있습니다. 이 프로젝트는 공개 알파(v0.1)이며 Apache 2.0에 따라 라이선스가 부여됩니다.
- 프로젝트
arcjet/arcjet-jsArcjet은 프롬프트 인젝션, 데이터 유출, 봇 악용 및 과도한 토큰 사용으로부터 실시간 보호를 제공하는 AI 애플리케이션용 보안 플랫폼입니다.
- 프로젝트
genkit-ai/genkit다양한 모델 제공업체를 위한 통합 API와 다중 언어 SDK를 갖춘 풀스택 AI 애플리케이션 구축용 오픈소스 프레임워크입니다.