AgentSafeLabs/safelabs-eval

safelabs-eval – AI 에이전트를 위한 레드팀 평가 프레임워크

정의 – safelabs-eval은 에이전트 스타일 LLM 애플리케이션(예: LangChain 에이전트, CrewAI 크루, AutoGen 봇 등)의 안전성을 자동으로 테스트할 수 있는 오픈소스 Python 패키지입니다. 10개의 보안 범주(OWASP에서 영감을 받은 "ASI01-ASI10" 분류법)를 다루는 300개의 선별된 적대적 프롬프트 라이브러리가 포함되어 있습니다. 각 프롬프트에 대해 프레임워크는 요청을 에이전트(HTTP 엔드포인트 또는 직접 Python 호출 가능 객체를 통해)에 보낸 다음 응답에 대해 패턴 기반 감지기(순수 Python 정규식/휴리스틱 검사) 세트를 실행합니다. 결과는 각 상호 작용을 VULNERABLE, FAIL, UNCERTAIN 또는 PASS로 분류하는 구조화된 보고서이며, 사람이 읽을 수 있는 텍스트 또는 CI 파이프라인용 JSON으로 출력할 수 있습니다.

중요성 – 현대 LLM 에이전트가 프로덕션에 배포되고 있지만 체계적인 적대적 안전성 테스트를 위한 도구는 거의 없습니다. safelabs-eval은 에이전트 코드 변경, 추가 LLM 호출 또는 독점 인프라 없이 그 격차를 메웁니다. 개발자에게 프롬프트 주입, 데이터 유출, 도구 사용 안전성, 환각 및 기타 에이전트별 위험을 표면화하는 빠르고 반복 가능한 방법을 제공합니다.

주요 기능

• 프레임워크 비종속: HTTP로 노출된 에이전트 또는 인기 있는 에이전트 라이브러리(LangChain, CrewAI, AutoGen, LlamaIndex, OpenAI Agents SDK, Google ADK, Semantic Kernel)용 어댑터와 함께 작동합니다. 핵심 패키지만 필요합니다. 어댑터는 선택적 추가 기능입니다.
• 300개의 적대적 프롬프트: ASI 범주당 30개의 프롬프트가 있으며 각 프롬프트에는 난이도 등급(1-3등급) 및 MITRE ATLAS 기술 ID와 같은 메타데이터가 표시됩니다.
• 제로 LLM 점수화: 감지기는 순수 Python 패턴 매처이므로 평가에 추가 모델 비용이 없습니다.
• CLI 및 Python API: safelabs run …은 빠른 명령줄 테스트용, run_eval()은 스크립트 또는 테스트 스위트에서 프로그래밍 방식 사용용입니다.
• 구조화된 출력: JSON 보고서에는 프롬프트별 판정, 신뢰도 점수 및 수정 힌트가 포함되어 자동화된 CI/CD 검사에 적합합니다.
• 확장 가능한 아키텍처: 감지기는 BaseDetector 클래스를 상속합니다. 새 감지기는 Scorer에 추가하고 등록할 수 있습니다.

사용 방법

1. 패키지를 설치합니다(Python 3.11+): pip install safelabs-eval.
2. CLI – 에이전트 엔드포인트를 지정합니다:

   safelabs run --target http://localhost:8000/chat --category all --output json
   

3. Python – 문자열을 받아 문자열을 반환하는 모든 호출 가능 객체를 래핑합니다:

   from safelabs import run_eval
   async def my_agent(prompt: str) -> str: …
   result = asyncio.run(run_eval(my_agent, categories=["ASI01", "ASI06"]))
   result.summary()
   

4. 생성된 보고서를 검사합니다. VULNERABLE 또는 FAIL 항목은 검토하고 완화해야 합니다.

제한 사항 – 감지기는 정규식/휴리스틱 패턴에 의존하므로 미묘하거나 새로운 공격을 놓칠 수 있고 오탐을 생성할 수 있습니다. 프롬프트 세트는 영어 전용이며 단일 턴입니다. 다중 턴 역학은 단일 프롬프트 내에서만 시뮬레이션됩니다. 신뢰도 점수는 휴리스틱 증거 수준이며 보정된 확률이 아닙니다.

유지 관리자 – 이 프로젝트는 Safe Labs AI Inc.에서 개발했으며 Apache 2.0 라이선스로 배포됩니다. DOI 연결 데이터 세트(SafeAgent-300)와 여러 사전 인쇄 논문이 포함된 연구 트랙이 포함되어 있습니다.

---

TL;DR – safelabs-eval은 LLM 에이전트를 위한 순수 Python, 프레임워크 비종속 레드팀 테스트 스위트로, 추가 모델 비용 없이 보안 약점을 표면화하기 위해 300개의 적대적 프롬프트와 패턴 기반 감지기를 제공합니다.