aavetis/PRarena

This repo tracks the opened and merged PRs by the top SWE coding agents by OpenAI, GitHub, and others. Updates regularly.

What it solves

PRarena는 Copilot, Codex, Cursor, Devin, Jules와 같은 다양한 AI 코딩 에이전트의 성능을 비교할 수 있는 방법을 제공합니다. GitHub의 풀 리퀘스트(PR) 통계를 분석함으로써, 다양한 개발자 워크플로우에서 어떤 AI 에이전트가 더 효과적으로 병합 가능한 코드를 생성하는지 파악하는 문제를 해결합니다.

How it works

이 프로젝트는 GitHub 검색 쿼리를 사용해 특정 AI 에이전트가 만든 "All PRs", "Ready PRs", "Merged PRs"의 수를 추적합니다. 공정한 비교를 위해 "Ready PRs"(드래프트가 아닌 PR)에 초점을 맞추고, 병합된 PR 수와 Ready PR 수의 비율을 성공률로 계산합니다.

Who it’s for

AI 코딩 어시스턴트를 벤치마킹하고 실제 병합 비율 및 기여량을 비교하고자 하는 개발자와 연구자를 위한 프로젝트입니다.

Highlights

  • own interactive dashboard at prarena.ai
  • Tracks multiple AI agents including Copilot, Codex, Cursor, Devin, Codegen, and Jules.
  • Distinguishes between draft and ready PRs to account for different agent workflows.
  • Uses real‑world GitHub data to measure success rates.