Armature Study Finds Coding Agents Prefer Neon, Stripe, and In‑House Solutions Across 17k Tool Selection Runs

速報ポイント

  • 16,893回のツール選択セッションにおいて、Claude Code、Codex、Cursorは常にNeon（データベース）、Stripe（決済）、社内実装を好んでおり、エージェント間の選択一致率はわずか42%にとどまる。
  • エージェントの行動は情報源（Web検索 vs. 事前知識）、リポジトリの文脈、ベンダー情報の提示方法によって左右され、言及と実際の選択に大きな乖離が生じている。

実験概要

Armatureは、コーディングエージェントのツール選択に関する世界最大規模の調査を実施した。3つのエージェント（Claude Code、Codex、Cursor）が75のリポジトリ、10のプログラミング言語、4つの役割タイプ（vibe-coder、ジュニア、シニア、エンタープライズエンジニア）で16,893回の実行を観察した。各実行は現実的なタスク（例：データベースの選定）を含み、その後、シミュレートされた人間オーケストレーター（Gemini 3.7 Flash）がトップ推薦を承認し、エージェントに実装を依頼した。調査は原始データをフィルタリングし、公開用に5,292回の有効なセッションを抽出した。

エージェントの情報源が意思決定を左右する

  • Cursorは約2/3のセッションでWeb検索に依存している。
  • Codexは94%のセッションでWeb検索を実行し、通常はsite:auth0.comのようなドメイン固有の演算子を使って信頼できるソースに絞って検索している。
  • Claude Codeはほとんどのクエリで内部の事前知識（priors）を使用しており、Web検索は約30%の頻度。ただし、検索を行う際はCodexの3倍のページ数を調査している。事前知識が弱い分野（例：サンドボックスツール）では、Web検索を約80%の頻度で実行している。
  • 一致率：3エージェントが同じツールを選んだのは、カテゴリ・役割・リポジトリのセルでわずか42%。音声エージェントツールでは、ClaudeはTwilio、CodexはOpenAI Realtime API、CursorはVapiを選択した。
  • 社内開発の好まれ方：Claude Codeは19%の実行でカスタムソリューションを構築しており、CodexとCursorの10%と比べてほぼ2倍高い。

リポジトリの文脈が勝者を変える

  • 同じメール送信リクエストでも、言語とリポジトリによって4つの異なるプロバイダーが選ばれた：
    • TypeScript → Resend（89回中55回）
    • Python → SendGrid（24回中22回）
    • Go → Postmark（24回中20回）
    • Java → Azure ACS（23回中22回）
  • VercelはTypeScript/Next.jsプロジェクトで支配的（Next.jsが存在する場合100%）だが、Pythonリポジトリでは一度も登場せず、Renderがトップ選択となった。

高頻度言及、低選択現象

多くの有名サービスは頻繁に言及されるが、選ばれる頻度は極めて低い：

  • PayPal：139回言及、選ばれず（Stripeがそのうち124回で勝利）
  • Adyen：175回言及、選ばれたのは3回のみ
  • LangChain：194回言及、選ばれたのは4回
  • Netlify：152回言及、選ばれたのは6回
  • Supabase：最も言及されたデータベース（242回）、しかしNeonがその多くで勝利

提示方法の細部が結果を覆す

  • Mailgunは無料プランの「1‑day retention」を読んだことでPostmarkに敗れた。
  • Supabaseは、認証・ストレージ・リアルタイム機能が1つの料金プランにバンドルされているため、エージェントが純粋なデータベースを求めていたことから、しばしば敗北した。
  • 5,292回のセッションにおいて、プラットフォーム管理のオーバーヘッドに関する388回の言及、コストに関する195回の言及が異なる勝者を生み出し、微妙な表現が単なる価格数字よりもエージェントの選択に大きな影響を与えることが示された。

市場支配と競争の現状

  • 決済：Stripeは選択の90%を占め、EU特有の規制ケースではPaddleやMollieが選ばれた以外はほぼ独占。
  • データベース：Neonが66%の選択を獲得し、次いでクラウドネイティブな選択肢（Azure、AWS）が続く。
  • ファイルストレージ：Amazon S3が45%のシェアでリード、AzureとGCPはそれぞれ約20%。
  • メールサービス：Resend（35.6%）とPostmark（27.4%）がトップ2。

コミュニティの洞察

"私は人々に、AIの黄金時代に生きていると伝えたい。Googleの最初の1〜2年のようなものだ。企業が利益を追求し、ロックインを進めれば、すべては下り坂になる。" – natnatenathan

"Armatureは何かをつかんでいる。エージェントの選択を分析することで、従来のマーケティングが人間に対して行うように、市場を自分の製品に傾けることができる。" – ttul

"Claude Codeは、基本的なファイル編集にawk、sed、さらにはPythonを使い続けている。5シリーズでなぜこの変化が起きたのか、誰か知っている？" – IgorPartola

これらのコメントは、エージェント主導のツール選択が、ベンダーのロックインやSEO的な最適化の新たな戦場になる可能性を示唆している。

デベロッパーとベンダーへのインパクト

  • デベロッパーはエージェントの推薦を最終判断ではなく、出発点として扱うべき。特にエージェントの情報源（Web vs. 事前知識）が不明な場合に注意が必要。
  • ベンダーは、料金の表現を簡潔にし、コア機能を強調し、Web検索に頼るエージェント（例：Codex）が容易に検索できるドキュメントを提供することで、選ばれる確率を高められる。
  • ツールビルダーは、明確で簡潔な「エージェントフレンドリー」なスニペット（例：site:example.com対応ページ）を提供することを検討すべきであり、選ばれる可能性を高めることができる。

完全なデータへのアクセス

すべてのトレース、プロンプト、意思決定ログ、コード差分はArmatureのブログ記事で公開されている。研究者はこのデータセットをダウンロードし、より深い分析や、本調査で提示された結果の検証が可能である。

本調査は、開発者ツール向け成長サービス企業であるArmature（YC支援）によって資金提供された。著者らは利害関係の衝突を開示しているが、メソッドと原始データは独立した検証のために公開されている。

Sources

関連