aavetis/PRarena

解決的問題

PRarena 透過追蹤 GitHub 上特定 AI 編碼代理（例如 Copilot、Codex、Cursor、Devin、Codegen 和 Jules）所產生的拉取請求（PR）數量與成功率，提供一種比較不同 AI 編碼代理效能的方法。它彌補了在不同開發工作流程中，理解哪些 AI 代理能產生最多可合併程式碼的知識缺口。

作用方式

本專案使用 GitHub 搜尋查詢來追蹤特定 AI 代理所建立的全部 PR、就緒 PR 與已合併 PR 的數量。透過聚焦於「就緒 PR」以對使用草稿 PR 方式不同的代理進行歸一化處理，根據已合併 PR 與就緒 PR 的比率來計算成功率。

適用對象

希望基於真實世界 GitHub 活動與合併成功率來對 AI 編碼代理進行基準測試的開發者與研究人員。

主要亮點

• 自主開發的互動式儀表板，用於視覺化統計數據。
• 追蹤包括 Copilot、Codex、Cursor、Devin 和 Jules 在內的多個主要 AI 代理。
• 透過區分草稿 PR 與就緒 PR 來歸一化資料，確保在不同代理工作流程之間進行公平比較。