aavetis/PRarena

解决的问题

PRarena 通过追踪 GitHub 上特定 AI 编码代理（如 Copilot、Codex、Cursor、Devin、Codegen 和 Jules）的拉取请求（PR）数量和成功率，提供了一种比较不同 AI 编码代理性能的方法。它填补了在不同开发工作流中，理解哪些 AI 代理能生成最多可合并代码这一方面的空白。

工作原理

该项目使用 GitHub 搜索查询来追踪特定 AI 代理创建的全部 PR、就绪 PR 和已合并 PR 的数量。通过聚焦于「就绪 PR」以对使用草稿 PR 方式不同的代理进行归一化处理，基于已合并 PR 与就绪 PR 的比率计算成功率。

适用人群

希望基于真实世界 GitHub 活动和合并成功率来对 AI 编码代理进行基准测试的开发者和研究人员。

主要亮点

• 自主开发的交互式仪表板，用于可视化统计数据。
• 追踪包括 Copilot、Codex、Cursor、Devin 和 Jules 在内的多个主要 AI 代理。
• 通过区分草稿 PR 和就绪 PR 来归一化数据，确保在不同代理工作流之间进行公平比较。