microsoft/waza

해결하는 문제

Waza는 AI 에이전트의 역량을 평가하기 위해 설계된 명령줄 인터페이스(CLI)입니다. 개발자가 평가 세트를 구축하고 벤치마크를 실행하며, 다양한 모델의 성능을 비교하여 AI 에이전트의 능력이 일관되고 신뢰할 수 있도록 도와줍니다.

작동 방식

Waza는 SKILL.md 파일을 통해 '스킬'을 정의하고, eval.yaml 파일을 통해 해당 평가 세트를 구조화된 방식으로 정의합니다. 사용자는 Copilot를 통해 실시간 프롬프트 실행을 기록하여 재사용 가능한 평가 작업을 생성할 수 있습니다. 이러한 작업을 모델에 실행하고, 그레더 레지스트리로 출력을 평가합니다. 또한 A/B 테스트(베이스라인 대 스킬), 결과 캐싱(성능 향상), 프롬프트 인젝션 및 범위 회피를 검사하는 적대적 테스트도 지원합니다.

대상 사용자

AI 에이전트를 개발하고 있으며, 에이전트의 역량을 표준화된 방식으로 벤치마크하고, 요구사항에 대한 커버리지를 검증하며, 적대적 테스트를 통해 안전성을 확보하고자 하는 개발자들입니다.

주요 기능

• 자동 구조화: 템플릿이나 기존 스킬 문서에서 스킬 정의와 평가 세트를 빠르게 생성할 수 있습니다.
• 프롬프트에서 작업 기록: Copilot를 통해 실시간 프롬프트 실행을 기록하여 재사용 가능한 평가 작업을 생성합니다.
• 다중 모델 비교: 다양한 모델에서 동일한 평가 세트를 실행하고 결과를 옆으로 비교할 수 있습니다.
• 적대적 테스트: 프롬프트 인젝션에 대한 저항력과 범위 외 동작을 방지하기 위한 내장 팩을 제공합니다.
• CI/CD 통합: GitHub Actions 등 다양한 파이프라인에 원활하게 통합할 수 있도록 종료 코드와 JUnit XML 보고서를 제공합니다.
• 결정성 검사: 작업 실행의 스냅샷을 캡처하고 재실행하여 일관성을 검증하고, 차이를 분석할 수 있습니다.