Armature 研究发现，在 17,000 次工具选择运行中，编码代理更倾向于使用 Neon、Stripe 和内部解决方案

快速要点

  • 在 16,893 次工具选择会话中，Claude Code、Codex 和 Cursor 一致偏好 Neon（数据库）、Stripe（支付）和内部实现，但只有 42% 的工具选择在不同代理间达成一致。
  • 代理行为受信息来源（网络搜索 vs. 先验知识）、代码仓库上下文以及供应商信息呈现方式的影响，导致提及与实际选择之间存在显著差异。

实验概览

Armature 进行了迄今为止规模最大的编码代理工具选择研究，观察了 16,893 次运行，涉及三个代理（Claude Code、Codex、Cursor），覆盖 75 个代码仓库、10 种编程语言和四种角色类型（氛围型开发者、初级、高级、企业工程师）。每次运行包含一个现实任务（例如“选择一个数据库”），随后由模拟的人类协调器（Gemini 3.7 Flash）批准首选推荐并要求代理实现。研究将原始数据过滤为 5,292 次有效会话以供公开发布。

代理信息来源塑造决策

  • Cursor 在约三分之二的会话中依赖网络搜索。
  • Codex 在 94% 的会话中执行网络搜索，通常使用特定领域操作符（如 site:auth0.com）聚焦于可信来源。
  • Claude Code 对大多数查询使用其内部先验知识，仅在约 30% 的情况下进行网络搜索，但当它搜索时，会查看比 Codex 多三倍的页面。在先验知识较弱的领域（如沙箱工具），Claude 搜索网络的频率高达约 80%。
  • 一致率：三个代理在类别-角色-仓库单元中仅在 42% 的情况下选择相同工具。在语音代理工具方面，Claude 选择了 Twilio，Codex 选择了 OpenAI Realtime API，而 Cursor 选择了 Vapi。
  • 内部方案偏好：Claude 在 19% 的运行中构建了定制解决方案，几乎是 Codex 和 Cursor 10% 的两倍。

仓库上下文导致不同赢家

  • 相同的发送邮件请求在不同语言和仓库中产生了四种不同的提供商：
    • TypeScript → Resend（89 次运行中 55 次）
    • Python → SendGrid（24 次运行中 22 次）
    • Go → Postmark（24 次运行中 20 次）
    • Java → Azure ACS（23 次运行中 22 次）
  • Vercel 在 TypeScript/Next.js 项目中占据主导地位（当存在 Next.js 时为 100%），但在 Python 仓库中从未出现，而 Render 是该语言的首选。

高提及、低选择现象

许多知名服务被频繁提及但极少被选择：

  • PayPal：提及 139 次，从未被选择（Stripe 在其中 124 次会话中胜出）。
  • Adyen：提及 175 次，仅被选择 3 次。
  • LangChain：提及 194 次，仅被选择 4 次。
  • Netlify：提及 152 次，仅被选择 6 次。
  • Supabase：被引用最多的数据库（242 次提及），但在多数会话中被 Neon 胜出。

展示细节可逆转结果

  • Mailgun 在代理读取其免费套餐中的“1 天留存率”后败给了 Postmark。
  • Supabase 经常因捆绑的 BaaS 功能（认证、存储、实时）被整合到单一定价计划中而失利，而代理正在寻找纯数据库解决方案。
  • 在 5,292 次会话中，对平台管理开销的 388 次提及和对成本的 195 次提及与不同赢家相关，表明细微措辞对代理选择的影响大于原始价格数字。

市场主导与竞争

  • 支付：Stripe 占据 90% 的选择，仅在特定欧盟监管场景中被 Paddle 或 Mollie 胜出。
  • 数据库：Neon 获得 66% 的选择，其次是云原生选项（Azure、AWS）。
  • 文件存储：Amazon S3 以 45% 的份额领先；Azure 和 GCP 各占约 20%。
  • 邮件服务：Resend（35.6%）和 Postmark（27.4%）位列前两名。

社区洞察亮点

“我一直告诉人们，我们正生活在一个 AI 的黄金时代——就像谷歌的头一两年。随着这些公司追求利润和锁定用户，一切只会越来越差。” – natnatenathan

“Armature 抓住了关键。分析代理选择能让您像传统营销影响人类一样，倾斜市场向您的产品。” – ttul

“Claude Code 一直在使用 awk、sed，甚至 Python 进行基本文件编辑——有人知道这在 5 系列后为何改变了吗？” – IgorPartola

这些评论凸显了整个行业对代理驱动工具选择可能成为新厂商锁定和 SEO 式优化战场的担忧。

对开发者和供应商的启示

  • 开发者 应将代理推荐视为起点，而非最终结论，尤其是在代理信息来源（网络搜索 vs. 先验知识）未知时。
  • 供应商 可通过简化定价语言、突出核心功能，并确保其文档易于被以网络搜索为主的代理（如 Codex）发现，来提升被选中率。
  • 工具构建者 可考虑提供清晰、简洁的“代理友好”片段（例如 site:example.com 友好页面），以提高被选中的可能性。

完整数据访问

所有追踪记录、提示、决策日志和代码差异均在 Armature 博客文章中公开可获取。研究人员可下载数据集以进行更深入分析或验证本文呈现的发现。

本研究由 Armature 资助，Armature 是一家 YC 支持的开发者工具增长服务公司。作者披露了利益冲突，但指出方法论和原始数据已公开共享，供独立验证。

Sources

相关