harbor-framework/terminal-bench

해결하는 문제

Terminal-Bench는 선도적인 AI 에이전트의 능력을 측정하기 위한 표준화된 방법을 제공합니다. 다양한 에이전트 개발자들의 성능을 추적하고 비교하기 위해 고품질, 다각적이고 지속적으로 진화하는 어려운 작업 세트의 필요성을 해결합니다.

작동 방식

지속적인 벤치마크로 작동하며, 작업은 태그된 릴리스로 게시됩니다. 사용자는 Harbor 프레임워크를 사용하여 벤치마크를 실행하고, 테스트할 에이전트와 모델을 지정할 수 있습니다. 시스템은 Modal을 사용해 개발된 사전 환경을 지원하여 작업이 안전하고 일관되게 실행되도록 하며, 환경이 올바르게 작동하고 있는지 확인하기 위한 "오라클" 솔루션도 포함되어 있습니다.

대상 사용자

이 도구는 복잡한 실제 세계의 터미널 기반 작업을 처리할 수 있는 능력을 평가하고자 하는 선도적인 에이전트 개발자 및 연구자들을 위한 것입니다.

주요 특징

• 지속적인 진화: 정체를 방지하기 위해 시간이 지남에 따라 새로운 어려운 작업들이 추가됩니다.
• 다양한 작업 세트: 다양한 분야에 걸쳐 다양한 난이도의 작업을 포함합니다.
• 커뮤니티 주도: 구조화된 제안 및 검토 프로세스를 통해 새로운 작업 기여를 적극적으로 장려합니다.
• 통합: Harbor 프레임워크 기반으로 구축되었으며, Modal과 통합되어 CI/CD 및 랭킹 리더보드 실험에 활용됩니다.