aavetis/PRarena

This repo tracks the opened and merged PRs by the top SWE coding agents by OpenAI, GitHub, and others. Updates regularly.

What it solves

PRarena は、Copilot、Codex、Cursor、Devin、Jules などの異なる AI コーディングエージェントのパフォーマンスを比較できる手段を提供します。GitHub 上のプルリクエスト（PR）統計を分析することで、さまざまな開発者ワークフローにおいて、どの AI エージェントがより効果的にマージ可能なコードを生成できるかを把握する課題を解決します。

How it works

本プロジェクトは GitHub の検索クエリを利用し、特定の AI エージェントが作成した「All PRs」「Ready PRs」「Merged PRs」の数を追跡します。公平な比較を行うために「Ready PRs」（ドラフトでないもの）に注目し、マージされた PR の数と Ready PR の比率から成功率を算出します。

Who it’s for

AI コーディングアシスタントのベンチマークや、実際のマージ率・貢献量を比較したい開発者や研究者向けです。

Highlights

  • own interactive dashboard at prarena.ai
  • Tracks multiple AI agents including Copilot, Codex, Cursor, Devin, Codegen, and Jules.
  • Distinguishes between draft and ready PRs to account for different agent workflows.
  • Uses real‑world GitHub data to measure success rates.