Armature 연구: 17,000개 이상의 도구 선택 실행에서 코딩 에이전트는 네온, 스트라이프, 내부 구현을 선호함

핵심 요약

  • 16,893회의 도구 선택 세션에서 클로드 코드, 코드크스, 커서는 네온(데이터베이스), 스트라이프(결제), 내부 구현을 일관되게 선호했으며, 에이전트 간 도구 선택 일치율은 단 42%에 불과함.
  • 에이전트의 행동은 정보 출처(웹 검색 vs. 사전 지식), 리포지토리 맥락, 공급업체 정보의 제시 방식에 의해 영향을 받으며, 언급과 실제 선택 사이에 큰 차이가 발생함.

실험 개요

Armature는 코딩 에이전트의 도구 선택에 대한 가장 큰 규모의 연구를 수행했으며, 75개 리포지토리, 10개 프로그래밍 언어, 4가지 역할 유형(분위기 코더, 신입, 시니어, 기업 엔지니어)에서 세 개의 에이전트(Claude Code, Codex, Cursor)를 대상으로 16,893회의 실행을 관찰함. 각 실행은 현실적인 작업(예: 데이터베이스 선택)을 수행한 후, 최상의 추천을 승인하고 에이전트에게 구현하도록 요청하는 시뮬레이션된 인간 오케스트레이터(Gemini 3.7 Flash)가 참여함. 연구는 원시 데이터를 필터링하여 공개용으로 5,292회의 유효한 세션을 확보함.

에이전트의 정보 출처가 결정에 영향을 줌

  • 커서는 약 2/3의 세션에서 웹 검색을 활용함.
  • 코드크스는 94%의 세션에서 웹 검색을 수행했으며, 일반적으로 site:auth0.com과 같은 도메인 전용 연산자를 사용해 신뢰할 수 있는 출처에 집중함.
  • 클로드 코드는 대부분의 질의에서 내부 사전 지식을 사용했으며, 웹 검색은 약 30%의 경우에만 수행했지만, 검색 시 코드크스보다 3배 더 많은 페이지를 분석함. 사전 지식이 약한 분야(예: 샌드박스 도구)에서는 웹 검색을 약 80%의 경우에 수행함.
  • 일치율: 세 에이전트가 동일한 도구를 선택한 경우는 카테고리-역할-리포지토리 셀에서 단 42%에 불과함. 음성 에이전트 도구 분야에서는 클로드는 투일리오, 코드크스는 오픈AI 리얼타임 API, 커서는 바피를 선택함.
  • 내부 구현 선호도: 클로드 코드는 19%의 실행에서 자체 솔루션을 구축했으며, 코드크스와 커서의 10%보다 거의 두 배에 달함.

리포지토리 맥락이 다른 승자로 이끈다

  • 동일한 이메일 전송 요청이 언어와 리포지토리에 따라 네 가지 다른 제공업체로 이어짐:
    • TypeScript → Resend (89회 중 55회)
    • Python → SendGrid (24회 중 22회)
    • Go → Postmark (24회 중 20회)
    • Java → Azure ACS (23회 중 22회)
  • Vercel은 TypeScript/Next.js 프로젝트에서 지배적(Next.js가 존재할 경우 100%)이지만, Python 리포지토리에서는 전혀 등장하지 않았으며, 이 경우 Render가 최고의 선택이었음.

높은 언급률, 낮은 선택률 현상

많은 유명한 서비스는 자주 언급되지만 거의 선택되지 않음:

  • PayPal: 139회 언급, 선택되지 않음(스트라이프가 그 중 124회에서 승리함).
  • Adyen: 175회 언급, 선택된 경우는 단 3회.
  • LangChain: 194회 언급, 선택된 경우는 4회.
  • Netlify: 152회 언급, 선택된 경우는 6회.
  • Supabase: 가장 많이 언급된 데이터베이스(242회 언급), 하지만 대부분의 경우 네온이 승리함.

제시 방식이 결과를 뒤바꿀 수 있음

  • Mailgun은 무료 계정의 "1일 유지율"을 읽은 후 포스트마크에게 패배함.
  • Supabase는 인증, 스토리지, 실시간 기능이 하나의 가격 계획에 묶여 제시되면서 자주 패배함. 반면 에이전트들은 순수한 데이터베이스를 찾고 있었음.
  • 5,292회의 세션에서 플랫폼 관리 부담(388회 언급)과 비용(195회 언급)에 대한 언급이 다른 승자로 이어졌으며, 이는 미묘한 어휘가 원가 수치보다 에이전트 선택에 더 큰 영향을 미친다는 것을 시사함.

시장 지배력 vs. 경쟁

  • 결제: 스트라이프는 선택의 90%를 차지했으며, 유럽 전용 규제 사례에서는 패들 또는 몰리가 선택됨.
  • 데이터베이스: 네온은 선택의 66%를 차지했으며, 이후 클라우드 네이티브 옵션(Azure, AWS)이 뒤를 이음.
  • 파일 저장소: 아마존 S3가 45%의 점유율로 선두를 달림; Azure와 GCP는 각각 약 20%를 차지함.
  • 이메일 서비스: Resend(35.6%)와 Postmark(27.4%)가 상위 두 개의 승자임.

커뮤니티 인사이트 요약

"저는 사람들이 지금 AI의 황금 시대에 살고 있다고 계속 말하고 싶습니다. 구글의 첫 1~2년처럼요. 이 회사들이 수익과 종속을 추구하면서 모든 것이 하향 평준화될 것입니다." – natnatenathan

"Armature는 중요한 것을 발견했습니다. 에이전트 선택을 분석하면, 전통적인 마케팅이 인간에게 영향을 미치는 것처럼, 제품에 시장의 기울기를 만들 수 있습니다." – ttul

"클로드 코드는 기본 파일 편집에 awk, sed, 심지어 파이썬까지 사용하고 있습니다. 5 시리즈부터 이 현상이 바뀐 이유를 아는 분 계신가요?" – IgorPartola

이러한 의견들은 에이전트 기반 도구 선택이 새로운 종속성과 SEO 스타일 최적화의 전장이 될 수 있다는 산업 전반의 우려를 강조함.

개발자와 공급업체에 대한 함의

  • 개발자는 에이전트의 추천을 최종 결정이 아닌 시작점으로 간주해야 하며, 특히 에이전트의 정보 출처(웹 vs. 사전 지식)가 불분명할 경우 더욱 주의해야 함.
  • 공급업체는 가격 언어를 단순화하고 핵심 기능을 강조하며, 웹 검색에 의존하는 에이전트(예: 코드크스)가 쉽게 탐색할 수 있도록 문서를 쉽게 접근 가능하게 해야 함.
  • 도구 개발자는 선택 확률을 높이기 위해 명확하고 간결한 '에이전트 친화적' 스크립트(예: site:example.com 친화적 페이지)를 제공하는 것을 고려할 수 있음.

전체 데이터 접근성

모든 추적 기록, 프롬프트, 결정 로그, 코드 차이점은 Armature 블로그 게시물에서 공개적으로 이용 가능함. 연구자들은 여기서 제시된 발견을 검증하거나 더 깊은 분석을 수행하기 위해 데이터셋을 다운로드할 수 있음.

이 연구는 개발자 도구를 위한 YC 지원 성장 서비스 기업인 Armature에서 후원되었으며, 저자들은 이해관계 충돌을 공개했지만, 방법론과 원시 데이터는 독립적인 검증을 위해 공개되어 있음.

Sources

관련