alibaba/skill-up

해결하는 문제

skill-up은 AI 에이전트의 능력(스킬)을 평가하고 향상시키는 체계적인 방법을 제공합니다. 즉흥적인 테스트를 대체하여 특정 사례에서 에이전트의 행동을 측정하고, 회귀를 확인하며, 환경과 워크스페이스를 자동으로 설정할 수 있는 선언형 프레임워크를 사용합니다.

작동 방식

이 도구는 CLI를 사용하여 YAML 파일에 정의된 선언형 평가 사례를 실행합니다. 필요한 런타임 환경(로컬, Docker, OpenSandbox)을 프로비저닝하고, 대상 스킬 또는 MCP 서버를 설치한 후 에이전트 엔진을 실행합니다. 이후 규칙 기반, 스크립트 기반, 또는 에이전트 기반의 심사위원을 사용하여 결과를 평가하고, 구조화된 보고서(JSON, HTML, JUnit)를 생성합니다.

또한 skill-upper라는 AI 기반 스킬을 포함하여 '평가 → 진화' 루프를 가능하게 합니다. 사용자는 에이전트와 자연어 대화를 통해 실패를 식별하고, 평가 세트를 자동으로 수정하거나 확장하며, 원하는 행동이 달성될 때까지 스킬 구현을 반복적으로 개선할 수 있습니다.

대상 사용자

특정 작업을 수행할 수 있고, 기존 기능이 손상되지 않도록 리포지토리 수준의 변경에 대응할 수 있도록 검증이 필요한 AI 에이전트 및 '스킬'을 개발하는 개발자에게 적합합니다.

주요 특징

• 평가 → 진화 루프: skill-upper를 사용해 실패를 진단하고 자연어 대화를 통해 평가 세트를 진화시킵니다.
• 선언형 구성: 환경, 엔진, 사례를 YAML로 정의하여 재현 가능성을 보장합니다.
• 다중 엔진 지원: Claude Code, Codex, Qoder CLI 등 다양한 에이전트 엔진과 호환됩니다.
• 환경 프로비저닝: 워크스페이스, 리포지토리 테스트 데이터, 런타임 환경의 설정을 자동화합니다.
• CI 준비 완료: GitHub Action을 포함하여 지속적 통합 파이프라인에서 여러 엔진으로 평가를 실행할 수 있습니다.