tophant-ai/aibeat

해결하는 문제

AI Beat는 생성형 AI를 위한 보안 평가 프레임워크로, LLM, RAG 애플리케이션, AI 에이전트의 안전성 경계 및 취약점을 식별하는 데 중점을 둡니다. 단순한 점수화를 넘어서 근거 기반 결과를 제공하여, 안전해 보이는 최종 답변과 실제로는 위험한 실행 경로(예: 안전한 응답을 제공하면서도 일시 파일에 자격 증명을 유출하는 에이전트)를 구분합니다.

작동 방식

이 프로젝트는 두 가지 주요 도구로 구성됩니다:

• PromptBeat: 블랙박스 평가 엔진으로, 공격자와 심사위원을 시뮬레이션하여 LLM, API, RAG 앱의 행동과 안전성을 평가합니다.
• AgentBeat: 에이전트 런타임을 인스트루먼트화하여 평가하는 확장 기능입니다. 도구 호출, 명령어, 파일 변경, 추적 이벤트와 같은 런타임 증거를 수집하여, 에이전트가 실행 중에 보안 경계를 초과했는지 여부를 판단합니다.

두 도구는 시나리오, 케이스, 보고서에 대한 공통 모델을 공유합니다. AgentBeat는 언어에 독립적인 매니페스트와 특정 HTTP 프로토콜을 통해 에이전트 런타임에 연결하는 어댑터를 사용합니다.

대상 사용자

자율 에이전트와 도구 접근 권한을 갖는 시스템을 배포하는 개발자 및 보안 연구자에게 적합합니다. AI 시스템의 안전성과 보안을 엄격하게 테스트해야 하는 경우에 유용합니다.

주요 특징

• 근거 기반 평가: 추적, 환경 변경, 파일 아티팩트를 캡처하여 보안 실패를 입증합니다.
• 대칭적 워크플로우: 블랙박스(PromptBeat)와 런타임 인스트루먼트( AgentBeat) 테스트 모두에서 공통된 시나리오와 보고서 모델을 사용합니다.
• 다중 역할 아키텍처: 공격자, 심사위원, 타겟 모델의 역할을 분리하여 편향을 방지합니다.
• 확장 가능한 어댑터 시스템: 타입화된 SDK와 매니페스트 기반 등록을 통해 다양한 에이전트 런타임과의 통합이 가능합니다.