NVIDIA/SkillEvaluator

해결하는 문제

SkillEvaluator는 AI 에이전트의 능력을 확장하는 지침과 보조 파일인 "에이전트 스킬"을 체계적으로 평가할 수 있는 방법을 제공합니다. 이 프레임워크는 이러한 스킬이 안전하고, 올바른 구조를 가지며, 중복되지 않으며 실제로 실제 작업에서 에이전트의 성능을 향상시킨다는 것을 보장합니다.

작동 방식

이 프레임워크는 스킬 검증을 위해 3단계 파이프라인을 사용합니다.

• Tier 1 (검증): 안전성과 구조에 대한 정적 검사를 수행합니다. 종속성 검사, 루브릭 검증, LLM 기반 보안 분석(예: SkillSpector 및 Gitleaks와 같은 도구 사용)이 포함됩니다.
• Tier 2 (중복 제거): 임베딩을 사용하여 스킬 내 가이드라인이 기존 카탈로그의 스킬과 중복되거나 겹치는지 탐지하여 중복을 방지합니다.
• Tier 3 (실시간 평가): 일반적으로 Docker를 사용하는 사전 환경에서 스킬을 테스트합니다. 스킬이 있는 경우와 없는 경우를 비교하여 제공자 고유의 에이전트를 실행하고, "스킬 리프트"를 측정하여 스킬이 실제로 작업을 완료하는 데 도움이 되는지 판단합니다.

대상 사용자

카탈로그에 게시하거나 프로덕션 환경에 배포하기 전에 엄격하고 자동화된 파이프라인을 통해 아티팩트를 검증하고자 하는 개발자 및 연구자입니다.

주요 기능

• 다단계 검증: 빠른 정적 분석에서 비용이 큰 실시간 실행으로 단계적으로 전환됩니다.
• 사전 환경 실행: Harbor 프레임워크와 통합되어 Docker에서 에이전트를 안전하게 실행할 수 있습니다.
• 스킬 리프트 측정: 특정 스킬이 제공하는 실제 성능 향상을 수치화합니다.
• 합성 데이터셋 생성: 테스트를 위한 초기 평가 사례를 자동으로 생성할 수 있습니다.