benchflow-ai/skillsbench

해결하는 문제

SkillsBench는 AI 에이전트가 '스킬'—지침, 스크립트, 리소스의 모듈화된 집합—을 어떻게 효과적으로 활용하고 복합적인 작업을 해결하기 위해 여러 스킬을 조합할 수 있는지를 평가할 필요성을 해결합니다. 특히 현재 최첨단 모델이 어려움을 겪는 복잡한 작업을 해결하기 위해 여러 스킬을 조합하는 능력을 집중적으로 타겟으로 합니다.

작동 방식

이 프로젝트는 에이전트의 행동과 스킬의 효과성을 측정하기 위해 gym 스타일의 벤치마킹 접근 방식을 사용합니다. 작업은 task.md 패키지로 정의되며, Docker를 통한 환경, 기준 솔루션을 위한 오라클, 에이전트 출력을 검증하는 검증기 포함됩니다. BenchFlow SDK와 통합되어 있으며, Modal을 통한 클라우드 샌드박스 또는 로컬 Docker 환경에서 실행을 지원합니다.

대상 사용자

모듈화된 스킬 습득과 복잡한 작업 조합에 초점을 맞춘 AI 에이전트를 개발하고 테스트하는 AI 연구자 및 개발자에게 적합합니다.

주요 특징

• 스킬 조합 중심：두 개 이상의 스킬을 조합하여 해결해야 하는 작업을 특별히 설계하였습니다.
• gym 스타일 벤치마킹：에이전트 성능과 행동을 체계적으로 평가할 수 있는 방법을 제공합니다.
• 유연한 실행 환경：Modal을 통한 클라우드 기반 실행과 Docker를 통한 로컬 실행을 모두 지원합니다.
• 확장 가능한 작업 시스템：사용자가 정의된 환경, 오라클, 검증기를 가진 새로운 작업을 생성할 수 있습니다.