Armature 研究發現編碼代理在 1.7 萬次工具選擇運行中偏好 Neon、Stripe 和內部解決方案

快速重點

  • 在 16,893 次工具選擇會話中，Claude Code、Codex 和 Cursor 始終偏好 Neon（資料庫）、Stripe（支付）和內部實作，代理之間的工具選擇僅有 42% 達成共識。
  • 代理行為受到資訊來源（網路搜尋與先驗知識）、儲存庫上下文以及供應商資訊呈現方式的驅動，導致提及次數與實際選擇之間存在巨大差異。

實驗概述

Armature 進行了已知規模最大的編碼代理工具選擇研究，觀察了 16,893 次運行，涉及三個代理（Claude Code、Codex、Cursor），涵蓋 75 個儲存庫、10 種程式語言和四種角色類型（氛圍編碼者、初級、高級、企業工程師）。每次運行包含一個真實任務（例如「選擇一個資料庫」），隨後由一個模擬的人類協調器（Gemini 3.7 Flash）批准最佳建議並要求代理實作它。該研究將原始數據過濾為 5,292 個有效會話以供公開發布。

代理資訊來源塑造決策

  • Cursor 在大約三分之二的會話中依賴網路搜尋。
  • Codex 在 94% 的會話中執行了網路搜尋，通常使用特定網域運算子（如 site:auth0.com）來專注於可信來源。
  • Claude Code 在大多數查詢中使用其內部先驗知識，僅在約 30% 的時間內進行網路搜尋，但當它搜尋時，它檢查的頁面數量是 Codex 的三倍。在其先驗知識較弱的領域（例如沙盒工具），Claude 約 80% 的時間都在搜尋網路。
  • 共識率：所有三個代理僅在 42% 的類別—角色—儲存庫組合中選擇了相同的工具。對於語音代理工具，Claude 選擇了 Twilio，Codex 選擇了 OpenAI Realtime API，而 Cursor 選擇了 Vapi。
  • 內部偏好：Claude 在 19% 的運行中建構了自訂解決方案，幾乎是 Codex 和 Cursor 10% 比率的兩倍。

儲存庫上下文驅動不同的贏家

  • 同一個發送電子郵件請求根據語言和儲存庫產生了四個不同的供應商：
    • TypeScript → Resend（55/89 次運行）
    • Python → SendGrid（22/24 次運行）
    • Go → Postmark（20/24 次運行）
    • Java → Azure ACS（22/23 次運行）
  • Vercel 主導了 TypeScript/Next.js 專案（當 Next.js 存在時為 100%），但從未出現在 Python 儲存庫中，其中 Render 是首選。

高提及、低選擇現象

許多知名的服務經常被提及但很少被選擇：

  • PayPal：被提及 139 次，從未被選擇（Stripe 在這些會話中贏得了 124 次）。
  • Adyen：被提及 175 次，僅被選擇 3 次。
  • LangChain：194 次提及，被選擇 4 次。
  • Netlify：152 次提及，被選擇 6 次。
  • Supabase：被引用最多的資料庫（242 次提及），但 Neon 贏得了這些會話中的大多數。

呈現細節可以翻轉結果

  • Mailgun 在代理讀到 Mailgun 免費層級的「1 天保留期」時輸給了 Postmark。
  • Supabase 經常落敗，因為其捆綁的 BaaS 功能（驗證、儲存、即時）被呈現為單一定價方案的一部分，而代理正在尋找純粹的資料庫。
  • 在 5,292 次會話中，388 次對平台管理開銷的引用和 195 次對成本的引用與不同的贏家相關，這表明微妙的措辭比原始價格數字更能影響代理的選擇。

市場主導地位與競爭

  • 支付：Stripe 佔據了 90% 的選擇，僅在歐盟特定的監管案例中輸給了 Paddle 或 Mollie。
  • 資料庫：Neon 贏得了 66% 的選擇，其次是雲原生選項（Azure、AWS）。
  • 檔案儲存：Amazon S3 以 45% 的份額領先；Azure 和 GCP 各佔約 20%。
  • 電子郵件服務：Resend（35.6%）和 Postmark（27.4%）是排名前二的贏家。

社群洞察重點

「我一直告訴人們，我們正生活在 AI 的黃金時代——就像 Google 的頭一兩年一樣。隨著這些公司追求利潤和鎖定，這一切都會走下坡。」 – natnatenathan

「Armature 發現了些什麼。分析代理的選擇讓你能將市場傾斜向你的產品，就像傳統行銷對人類所做的那樣。」 – ttul

「Claude Code 一直使用 awk、sed 甚至 Python 來進行基本的檔案編輯——有人知道為什麼在 5 系列中這點改變了嗎？」 – IgorPartola

這些評論凸顯了更廣泛的行業擔憂，即代理驅動的工具選擇可能成為供應商鎖定和 SEO 式優化的新戰場。

對開發者和供應商的影響

  • 開發者 應將代理的建議視為起點，而不是最終定論，特別是當代理的來源（網路與先驗知識）未知時。
  • 供應商 可以透過簡化定價語言、突出核心功能，並確保其文件容易被像 Codex 這樣重度依賴網路搜尋的代理發現，來提高選擇率。
  • 工具建構者 可以考慮提供清晰、簡潔的「代理友善」程式碼片段（例如 site:example.com 友善頁面），以增加被選擇的機會。

完整數據存取

所有蹤跡、提示、決策日誌和程式碼差異都已在 Armature 部落格文章中公開提供。研究人員可以下載資料集以進行更深入的分析或驗證此處提出的研究結果。

該研究由 Armature 資助，這是一家受 YC 支持的開發者工具成長服務公司。作者揭露了利益衝突，但指出方法和原始數據已公開分享以供獨立驗證。

Sources

相關