scaleapi/SWE-bench_Pro-os

해결하는 문제

SWE-Bench Pro는 LLM과 AI 에이전트가 실제 환경의 장기적인 소프트웨어 엔지니어링 작업을 얼마나 잘 처리할 수 있는지 평가하기 위한 엄격한 벤치마크를 제공합니다. AI가 코드베이스와 보고된 문제를 이해할 뿐만 아니라 문제를 해결하기 위한 기능적 패치를 생성해야 하는 검증된 데이터셋의 필요성을 해결합니다.

작동 방식

이 프로젝트는 소프트웨어 문제와 해당 코드베이스의 데이터셋을 제공합니다. AI 에이전트는 코드베이스와 문제 설명을 전달받아 코드 패치를 생성하는 작업을 수행합니다. 시스템은 Docker 컨테이너(또는 Modal)를 포함하는 재현 가능한 파이프라인을 사용하여 이러한 패치를 평가함으로써 환경의 일관성을 보장합니다. V2 버전은 11개의 저장소에 걸쳐 642개의 검증된 작업을 포함하며, 작업 디렉토리 및 검증기에 Harbor 형식을 활용합니다.

대상 사용자

소프트웨어 엔지니어링을 위한 AI 에이전트를 구축하는 연구원 및 개발자와 대규모 언어 모델의 코딩 능력을 벤치마킹하는 사람들을 위해 설계되었습니다.

주요 특징

• 검증된 데이터셋: V2에는 642개의 검증된 작업과 극한 테스트를 위한 특정 "HARD-51" 하위 집합이 포함되어 있습니다.
• 재현 가능한 평가: Docker와 Modal을 사용하여 패치를 테스트하기 위한 격리되고 일관된 환경을 제공합니다.
• 통합: SWE-agent 및 Harbor 작업 프레임워크와 같은 도구와 호환됩니다.
• 공개 리더보드: 에이전트 성능을 추적하기 위한 공개 및 비공개 리더보드를 유지합니다.