aavetis/PRarena

해결하는 문제

PRarena는 GitHub에서 특정 AI 코딩 에이전트(예: Copilot, Codex, Cursor, Devin, Codegen, Jules 등)가 생성한 모든 PR, 준비 완료된 PR, 병합된 PR의 수를 추적함으로써, 다양한 개발 워크플로우에서 어떤 AI 에이전트가 가장 병합 가능한 코드를 생성하는지 비교할 수 있는 방법을 제공합니다. 이는 AI 에이전트의 성능에 대한 이해 부족을 해결합니다.

작동 방식

이 프로젝트는 GitHub 검색 쿼리를 사용하여 특정 AI 에이전트가 생성한 All PRs, Ready PRs, Merged PRs의 수를 추적합니다. 드래프트 PR을 다르게 사용하는 에이전트를 보정하기 위해 "Ready PRs"에 초점을 맞추어, 병합된 PR 수 대비 준비 완료된 PR 수의 비율을 기반으로 성공률을 계산합니다.

대상 사용자

실제 GitHub 활동과 병합 성공률을 기반으로 AI 코딩 에이전트를 벤치마킹하고자 하는 개발자 및 연구자.

주요 특징

• 자체 개발한 인터랙티브 대시보드를 통해 통계를 시각화할 수 있습니다.
• Copilot, Codex, Cursor, Devin, Jules 등을 포함한 여러 주요 AI 에이전트를 추적합니다.
• 드래프트 PR과 Ready PR을 구분하여 데이터를 정규화함으로써, 다양한 에이전트 워크플로우 간의 공정한 비교를 보장합니다.