tophant-ai/aibeat

해결하는 문제

AI Beat는 생성형 AI를 위한 보안 평가 프레임워크를 제공하며, AI 시스템이 안전하게 작동하는지에 초점을 맞춥니다. AI의 최종 답변이 안전해 보일 수 있지만, 그 이면의 실행 경로(AI가 해당 답변에 도달하기 위해 취한 조치)가 보안 경계를 넘거나 민감한 정보를 누출했을 수 있는 문제를 해결합니다.

작동 방식

이 프로젝트는 주로 두 가지 도구로 구성됩니다:

• PromptBeat: 적대적 사례를 시뮬레이션하고 판정 모델을 사용하여 동작을 평가함으로써 LLM, RAG 애플리케이션 및 API를 테스트하는 블랙박스 평가 엔진입니다.
• AgentBeat: 계측된 에이전트 런타임용으로 설계된 PromptBeat의 확장 기능입니다. 도구 호출, 명령 실행, 파일 변경과 같은 런타임 증거를 수집하여 최종 응답에서는 보이지 않는 보안 실패를 감지합니다.

두 도구 모두 시나리오, 케이스 및 보고서를 위한 공유 모델을 사용하여 사용자가 간단한 입력-출력 테스트로 시작하여 심층 추적 분석으로 넘어갈 수 있도록 합니다.

대상 사용자

LLM, RAG 애플리케이션 및 AI 에이전트의 안전성과 보안을 검증해야 하는 개발자와 보안 연구자를 위해 설계되었습니다. 특히 파일 수정이나 명령 실행 권한이 있는 경우를 대상으로 합니다.

주요 특징

• 증거 기반 평가: 답변과 관계없이 보안 위반을 증명하기 위해 추적, 환경 변경 및 파일 내용을 캡처합니다.
• 재현 가능한 워크플로: 시나리오 설계, 적대적 케이스 생성 및 판정을 단일 파이프라인으로 결합합니다.
• 적대적 테스트: 테스트 케이스 생성을 위해 '공격자' 모델 사용을 지원합니다.
• 다중 대상 지원: 다양한 LLM 제공자, HTTP 에이전트 및 Claude Code 또는 OpenCode와 같은 코딩 에이전트와 호환됩니다.