Real-SWE Benchmark: Evaluating AI Coding Agents on Private Enterprise Codebases

Real-SWEベンチマークは、最先端のAIコーディングエージェントが、プライベートで現実的なエンタープライズ・コードベースの複雑さに大きく苦戦していることを明らかにしています。合成ベンチマークでは高い成功率を示すことが多い一方で、Real-SWEは、コードが公開インターネット上に存在せず、ビジネスロジックがインフラストラクチャと深く絡み合っている独自のシステムへの移行により、テストされたすべてのモデルの解決率が40%未満に低下することを示しています。

Model Performance and Leaderboard

Fable 5.1が解決率38.8%でベンチマークをリードしており、次いでGPT-6 AstraとGemini 3.8 Flashが続きます。この結果は、AIの能力と、本番環境におけるプロフェッショナルなソフトウェアエンジニアの要件との間に大きな隔たりがあることを示しています。

Rank	Model	Harness	Resolution Rate
1	Fable 5.1	Claude Code	38.8%
2	GPT-6 Astra	Codex CLI	33.8%
3	Gemini 3.8 Flash	Gemini CLI	31.2%
4	GLM 5.3	Claude Code	28.8%
5	Grok 4.6	Grok Build	23.8%
5	Muse Spark 1.3	Muse Code	23.8%
7	Kimi K3	Kimi Code	18.8%
8	GPT-5.6 Sol	Codex CLI	16.2%

解決率はpass@1として計算され、タスクごとの8回の独立した実行の平均値です。

Why Enterprise Codebases are More Challenging

Real-SWEタスクは、実際の企業のライセンス取得済みプライベート・コードベースを利用しているため、AIモデルにとって「分布外（out of distribution）」となるように設計されています。これにより、モデルが公開インターネット上の学習データに依存することを防いでいます。

Company-Specific Complexity

エンタープライズ・エンジニアリングには、単なる構文の知識だけでなく、内部のコーディングパターンやビジネスルールへの理解が必要です。例えば、あるタスクでは請求書発行の修正が含まれており、エージェントはNestJS/TypeScriptサービスをナビゲートし、特定のビジネス構成に基づいて税金の免除やVAT登録を処理するためにTaxJarやInfluxDBのような外部サービスとやり取りする必要があります。

Cross-Functional Implementation

現実世界の変更は、単一のファイル内に収まることは稀です。Real-SWEのリファレンス・ソリューションにおける編集ファイル数の中央値は11であり、FrontierCodeやDeepSWEのような他のベンチマークと比較して6です。これには、エージェントがAWS、Kubernetes、PostgreSQL、Redisを含む複数のサービスやインフラストラクチャ・コンポーネントにわたってシステムのメンタルマップを維持することが求められます。

Analysis of Model Failures

失敗分析によると、最も一般的な失敗の原因は「要件の聞き逃し」であり、次いで「検証されていない仮定」です。これは、モデルがコードを書くことはできても、ビジネスの意図を完全に把握し、既存のシステムに対して変更を検証することに苦戦していることを示唆しています。

Task-Specific Variance

パフォーマンスはタスクによって大きく異なります。「Multi-region sweep」のようなタスクは67.2%の解決率を示しますが、「Analytics stream reducer」のような他のタスクは、テストされたすべてのモデルにおいて0.0%の解決率となります。これは、特定の種類の複雑なビジネスロジックやアーキテクチャ・パターンが、現在の最先端モデルにとって完全に解決不能であることが示しています。

Rollout Duration and Cost

タスクに費やした時間と成功率の間にはほとんど相関関係がありません。10分未満の実行（rollout）は71.4%が失敗し、より長い実行と比較して73.4%が失敗しました。実行あたりの推定コストは$2.50 (Gemini 3.8 Flash) から$6.96 (Fable 5.1) の範囲です。

Community Insights and Counterpoints

Hacker Newsにおけるエンジニア同士の議論は、ベンチマークの結果と個向的なユーザー体験との間の隔たりを強調しています。

Tooling and Context

一部のユーザーは、エージェントの成功は、使用されるharness（テスト環境）test harness と、モデルに提供される「コンテキスト・マップ」に依存すると主張しています。あるユーザーは、、コードベースの接続を意味論的にクエリ可能なマップである「code atlas」を構築することが、モデルがコードを読み取る時間を大幅に減少させ、ニュアンスへの意識を高めることができると提案しました。

Methodology Concerns

ベンチマークの再現性の欠如と、コードベースがプライベートであるため「pinky-promise benchmarking（口約束ベンチマーク）」の可能性があることを批判しています。

"TL;DR benchmarking in a completely non-reproducible manner? 'Model X performed great, but we can't possibly tell you anything about the code it was looking at apart from it was a large code base from an unknown company'"

さらに、一部のユーザーは、プライベート・コードベースが本当にプライベートなのか、あるいは最先端モデルの学習セットに漏洩しているのではないかと疑問を呈しており、これは、現代のLLM評価において汚染（contamination）が常にリスクである可能性を示唆しています。

Practical Observations

数人のユーザーは、Gemini 3.8 Flashのこのベンチマークにおける高いパフォーマンスが、彼ら自身の経験と一致していると指摘しており、定義されたエンタープライズ環境における問題解決のための「hidden gem（隠れた宝石）」であると述べています。たとえ、オープンエンドな質問には苦戦するとしても。