aavetis/PRarena

何を解決するか

PRarena は、GitHub 上でのプルリクエスト（PR）活動を分析することで、さまざまな AI コーディングエージェントのプルリクエストの作成量と成功確率を追跡し、それらのパフォーマンスを比較する方法を提供します。異なる開発ワークフローにおいて、どの AI エージェントが最もマージ可能なコードを生成するかを理解するためのギャップを埋めます。

動作方法

このプロジェクトは、GitHub の検索クエリを使用して、特定の AI エージェント（Copilot、Codex、Cursor、Devin、Codegen、Jules など）が作成した All PRs、Ready PRs、Merged PRs の数を追跡します。ドロップPRの扱い方が異なるエージェントを公平に比較するために、「Ready PRs」に注目し、マージされたPR数とReady PR数の比率に基づいて成功確率を計算します。

対象ユーザー

現実世界のGitHub活動とマージ成功確率に基づいてAIコーディングエージェントをベンチマークしたい開発者や研究者。

主な特徴

• インタラクティブなダッシュボードを自前で提供し、統計情報を視覚化可能。
• Copilot、Codex、Cursor、Devin、Jules を含む複数の主要なAIエージェントを追跡。
• ドラフトPRとReady PRを区別することでデータを正規化し、異なるエージェントのワークフロー間での公平な比較を実現。