openai/frontier-evals

해결 과제

Frontier Evals는 고급 AI 모델의 성능을 측정하기 위한 표준화된 프레임워크를 제공합니다. 소프트웨어 엔지니어링, 학술 연구, 스마트 컨트랙트 보안과 같은 복잡한 도메인에서 엄격하고 재현 가능한 테스트를 수행해야 하는 요구 사항을 해결합니다.

작동 방식

이 저장소는 독립적인 평가 프로젝트들의 모음입니다. 각 프로젝트는 자체 환경 구성, 종속성 및 문서를 포함합니다. 사용자는 특정 평가 디렉토리(PaperBench, SWE-Lancer, 또는 EVMbench 등)로 이동하여 uv를 사용하여 환경을 동기화하고, 프로젝트별 지침에 따라 테스트를 실행하고 모델 성능을 해석합니다.

대상 사용자

이 프로젝트는 표준화되고 재현 가능한 방법론을 사용하여 실제 환경의 고위험 작업에 대해 최첨단 AI 모델을 벤치마킹해야 하는 AI 연구원, 개발자 및 엔지니어를 위한 것입니다.

주요 특징

• 최첨단 AI 연구 논문을 재현하기 위한 PaperBench 포함.
• 실제 프리랜서 소프트웨어 엔지니어링 작업에서 모델 성능을 테스트하기 위한 SWE-Lancer 기능 제공.
• 스마트 컨트랙트 보안 분야에서 AI 역량을 평가하기 위한 EVMbench 포함.
• 모듈화되고 격리된 디렉토리 구조를 사용하여 각 벤치마크에 대한 종속성과 구성의 일관성을 유지.