giskard-oss: 에이전트 시스템 및 LLM 애플리케이션을 위한 모듈식 테스트 및 레드팀 프레임워크

해결하고자 하는 문제

Giskard는 에이전트 시스템을 테스트하고 평가하도록 설계되었으며, 특히 하나의 입력이 여러 개의 유효한 응답을 생성할 수 있는 비결정적 출력 문제를 다룹니다. 회귀를 포착하고, RAG 품질을 검증하며, 안전 규칙을 적용하고, 다중 턴 대화를 평가하는 도구를 제공합니다.

작동 방식

이 프로젝트는 어떤 LLM, 블랙박스 에이전트, 혹은 다단계 파이프라인도 래핑할 수 있는 모듈식 Python 패키지 집합으로 구성됩니다. 주요 구성 요소는 다음 세 가지입니다:

• Giskard Checks: 시나리오 API를 사용해 평가(evals)를 생성하는 라이브러리로, 문자열 매칭, 정규식, 의미 유사도, 그리고 "LLM-as-judge" 평가(예: Groundedness와 Conformity)를 위한 내장 체크를 제공합니다.
• Giskard Scan: 에이전트에 대한 자연어 설명을 기반으로 적대적 테스트 스위트를 자동 생성하여 프롬프트 인젝션, 유해 콘텐츠, 허위 정보 등과 같은 취약점을 탐지하는 레드팀 레이어입니다.
• Giskard RAG: (예정) RAG 평가 및 합성 데이터 생성을 위한 도구입니다.

대상 사용자

LLM 기반 에이전트와 RAG 파이프라인을 구축하는 개발자 및 AI 엔지니어로, 자동화된 테스트와 레드팀을 통해 시스템이 안전하고, 근거가 명확하며, 신뢰할 수 있도록 보장하고자 하는 사람들을 위한 것입니다.

주요 특징

• Async-first 아키텍처: AI 에이전트의 동적이고 다중 턴 테스트를 위해 설계되었습니다.
• 자동 레드팀: OWASP LLM Top-10 위협 카테고리 전반에 걸쳐 적대적 입력을 자동으로 생성합니다.
• LLM-as-Judge: 근거성(groundedness) 및 일관성(conformity)과 같은 고급 평가 메트릭을 지원합니다.
• 모듈식 설계: 최소한의 의존성을 가진 경량 패키지로, 어떤 파이프라인에도 쉽게 통합할 수 있습니다.

SUMMARY: 오픈소스 Python 라이브러리로, 에이전트 시스템의 테스트 및 평가를 지원하며 레드팀, 취약점 스캔, LLM-as-judge 평가 도구를 제공합니다.

TITLE: giskard-oss: 에이전트 시스템 및 LLM 애플리케이션을 위한 모듈식 테스트 및 레드팀 프레임워크