ByteDance-Seed/EdgeBench

해결하는 문제

EdgeBench는 AI 에이전트의 일회성 성능 벤치마크의 한계를 해결합니다. 에이전트가 작업을 즉시 해결할 수 있는지 측정하는 대신, 실제 환경과의 반복적 상호작용을 통해 장기간(작업당 최대 12시간 이상)에 걸쳐 학습하고 개선하는 능력을 평가합니다.

작동 방식

EdgeBench는 6개 범주(과학 및 ML, 시스템 및 SE, 최적화, 지식, 형식, 게임)에 걸친 134개의 실제 작업으로 구성됩니다. SForge라는 특수 평가 하네스를 사용하며, 에이전트가 작동하는 "작업" 컨테이너와 테스트를 실행하는 숨겨진 "판정" 컨테이너의 2-컨테이너 격리 시스템을 채택합니다. 에이전트는 제출물에 대한 세분화된 피드백을 받고 시간 예산이 만료될 때까지 폐쇄 루프에서 솔루션을 반복할 수 있습니다. 최종 점수는 전체 궤적 동안 달성된 최상의 결과를 기반으로 합니다.

대상

실행 가능한 환경과 상호작용하고 피드백을 받을 시간이 주어졌을 때 모델이 어떻게 확장되고 개선되는지 측정하려는 자율 에이전트를 구축하는 AI 연구자 및 개발자를 위해 설계되었습니다.

주요 특징

• 장기 평가: 단일 시도가 아닌 작업당 12시간 이상의 개선을 추적합니다.
• 2-컨테이너 격리: 작업 환경과 판정 환경을 분리하여 에이전트가 평가를 "해킹"하는 것을 방지합니다.
• 다양한 작업 세트: 134개 작업(51개 공개)을 포함하며 형식 검증 및 시스템 엔지니어링과 같은 복잡한 영역을 다룹니다.
• 유연한 백엔드 지원: SForge는 로컬 Docker, 대규모 실행을 위한 Kubernetes, E2B 클라우드 샌드박스를 지원합니다.