harbor-framework/terminal-bench-science

해결하는 문제

Terminal-Bench-Science는 실제 과학 연구 워크플로우에서 AI 에이전트에 대한 엄격하고 전문가가 선별한 평가의 필요성을 해결합니다. 생명과학, 물리학, 지구과학, 수학, 공학 분야의 작업을 최첨단 AI 에이전트가 얼마나 잘 수행하는지 측정하여 과학자들이 AI 발전을 형성하는 데 직접적인 목소리를 내고, AI 역량과 함께 진화하는 지속적인 벤치마크를 제공합니다.

작동 방식

이 벤치마크는 터미널 환경에서 객관적으로 검증 가능한 결과를 생성하는 71개의 전문가 작성 작업(100개 이상으로 증가 중)을 포함합니다. 작업은 구조화된 흐름을 거칩니다: 전문가가 아이디어를 제안하고 구현하며 풀 리퀘스트를 제출합니다. 자동 검사(정적 검증, Docker 빌드, 오라클/무작동 실행, 유사성 감지, 치트 시도, 다중 에이전트 시도)와 병행된 도메인 및 기술 검토가 품질을 보장합니다. 시스템은 Harbor 프레임워크를 통해 에이전트를 실행하여 사용자가 특정 에이전트와 모델을 작업에 대해 테스트할 수 있게 합니다. 리더보드, 작업 대시보드, 태그된 릴리스가 성능과 개발을 추적합니다.

대상 사용자

과학 연구 작업에서 에이전트 성능을 이해하거나 개선하려는 AI 연구자, 모델 개발자, 과학자를 위한 것입니다. 또한 AI 개발을 이끌기 위해 자신의 현실적인 워크플로우를 기여하려는 과학 분야의 도메인 전문가에게도 적합합니다. 기여 프로세스는 생명과학, 물리학, 지구과학, 수학, 공학 연구자들을 명시적으로 초대합니다.

주요 특징

• 5개 주요 과학 도메인에 걸친 71개의 전문가 선별 작업, 공개 리더보드 및 작업 대시보드 포함
• 커뮤니티 주도: 전문가가 작업을 제안, 구축, 검토하며 기여 요청 및 Discord 채널 제공
• Docker 빌드, 오라클/무작동 검증, 유사성 검사, 치트 시도, 다중 에이전트 실행을 포함한 자동 품질 보증
• Harbor Hub의 태그된 릴리스와 인용용 DOI를 갖춘 지속적 벤치마크
• 훈련 데이터 오염을 방지하고 누출을 감지하는 카나리아 문자열 포함