aavetis/PRarena

This repo tracks the opened and merged PRs by the top SWE coding agents by OpenAI, GitHub, and others. Updates regularly.

What it solves

PRarena 提供了一种比较不同 AI 编码代理（如 Copilot、Codex、Cursor、Devin 和 Jules）表现的方法，分析它们在 GitHub 上的 Pull Request（PR）统计数据。它解决了在各种开发者工作流中，了解哪些 AI 代理更有效地产出可合并代码的问题。

How it works

该项目使用 GitHub 搜索查询，追踪特定 AI 代理创建的“全部 PR”(All PRs)、“可合并 PR”(Ready PRs) 和“已合并 PR”(Merged PRs) 数量。通过关注“可合并 PR”(非草稿) 以确保公平比较，计算合并 PR 与可合并 PR 的比例作为成功率。

Who it’s for

开发者和研究人员，想要对 AI 编码助手进行基准测试并比较其真实的合并率和贡献量的人群。

Highlights

  • own interactive dashboard at prarena.ai
  • Tracks multiple AI agents including Copilot, Codex, Cursor, Devin, Codegen, and Jules.
  • Distinguishes between draft and ready PRs to account for different agent workflows.
  • Uses real‑world GitHub data to measure success rates.