SWE-bench/SWE-bench

해결하는 문제

SWE-bench는 대규모 언어 모델(LLMs)이 실제 소프트웨어 문제를 해결하는 능력을 평가합니다. 간단한 코딩 작업과 대규모 코드베이스를 관리하는 복잡한 현실 사이의 격차를 해결하며, 모델이 코드베이스를 이해하고 GitHub 이슈를 수정할 수 있는 기능적인 패치를 생성할 수 있는지 평가합니다.

작동 방식

이 벤치마크는 실제 GitHub 이슈와 해당 코드베이스의 세트를 제공합니다. 모델은 코드베이스와 이슈 설명을 받고, 문제를 해결하는 코드 패치(diff)를 생성해야 합니다. 시스템은 Docker를 통해 완전히 컨테이너화된 평가 환경을 사용하여 평가의 재현성과 격리성을 보장합니다.

대상 사용자

자율 소프트웨어 엔지니어링 작업을 위한 LLM 개발 및 테스트를 수행하는 AI 연구자 및 소프트웨어 엔지니어링 에이전트 개발자.

주요 특징

• 현실 세계 데이터: 실제 GitHub 이슈를 사용하여 모델이 진정한 소프트웨어 문제를 해결할 수 있는지 테스트.
• 컨테이너 기반 평가: Docker를 사용해 재현 가능하고 격리된 테스트 환경 제공.
• 다양한 데이터셋: SWE-bench Verified(인간이 확인한 해결 가능한 문제), Multimodal(시각적 소프트웨어 영역), Multilingual 등 전문 버전 포함.
• uma Cloud 통합: sb-cli 및 Modal을 통해 클라우드 기반 평가 지원.
• 학습 지원: 사전 처리된 데이터셋과 SWE-smith와 같은 훈련 데이터 생성 도구 제공.