OpenAI의 SWE-bench Pro 코딩 평가 결함 분석

OpenAI는 SWE-bench Pro 벤치마크의 작업 중 약 30%가 손상된 것으로 결론짓고, 해당 벤치마크에 대한 권장 사항을 철회했습니다. 이 발견은 벤치마크의 731개 작업 공개 스플릿에 대한 엄격한 감사를 거친 결과로, 많은 평가가 기능적으로 올바른 솔루션을 처벌하거나 불완전한 솔루션을 보상함으로써 모델 성능에 대한 잘못된 신호를 제공한다는 사실을 밝혀냈습니다.

코딩 벤치마크의 실패 모드

OpenAI는 코딩 평가를 무효화하는 네 가지 주요 결함 범주를 식별했습니다. 이러한 문제는 벤치마크가 원래 고립된 기계 테스트보다는 인간의 협업을 위해 의도된 실제 GitHub 이슈 및 풀 리퀘스트(pull requests)에서 프로그래밍 방식으로 수집되었기 때문에 발생하는 경우가 많습니다.

• 지나치게 엄격한 테스트: 프롬프트에 명시되지 않은 특정 구현 세부 사항을 강제하여, 기능적으로 올바른 제출물을 실패하게 만드는 테스트입니다.
• 불충분하게 명시된 프롬프트: 숨겨진 테스트에 의해 강제되지만 제공된 문맥으로부터 합리적으로 추론할 수 없는 요구 사항을 누락한 프롬프트입니다.
• 낮은 커버리지의 테스트: 요청된 기능을 충분히 확인하지 못하여, 불완전하거나 잘못된 수정 사항이 통과되도록 허용하는 테스트입니다.
• 오해의 소지가 있는 프롬프트: 모델을 잘못된 동작으로 유도하거나 테스트 요구 사항과 직접적으로 모순되는 지침입니다.

감사 방법론: 에이전트와 인간

이러한 결함함을 식별하기 위해 OpenAI는 이중 트랙 품질 보증 파이프라인을 사용했습니다. 이 접근 방식은 이전에는 수동으로 수행하기에 비용이 너무 많이 들었던 확장 가능한 데이터 품질 검사를 수행하기 위해 AI 에이전트의 유용성이 커지고 있음을 강조합니다.

자동화된 에이전트 검토

초기 필터링을 통해 286개의 잠재적으로 손상된 작업이 표시되었습니다. 이후 작업 저장소와 환경에 접근할 수 있는 Codex 기반 조사 에이전트가 이를 감사했습니다. 이 에이전트들은 테스트를 실행하고, 파일을 검사하고, 일반적인 실패 모드를 조사하여 합리적인 모호성인지 아니면 실제 불충분한 명시인지 구분할 수 있었습니다.

인간 주석 작업

동시에, 다섯 명의 숙련된 소프트웨어 엔지니어가 표시된 작업들을 검토했습니다. 검토자들은 문제 정의, 테스트 케이스, 그리고