Netlify Agent Runners: 웹 개발을 위한 11개 AI 모델 비교

하이엔드 모델은 우수한 디자인을 제공하지만 크레딧 비용이 훨씬 높습니다

Netlify의 11개 AI 모델 평가 결과, 시각적 결과물과 리소스 소비 측면에서 극명한 차이가 나타났습니다. Claude Opus 5와 같은 최상위 모델은 커스텀 벡터 그래픽과 다크 모드 지원을 포함하여 매우 상세하고 미적으로 세련된 사이트를 생성하지만, 실행당 최대 1,055 크레딧을 소비할 수 있습니다. 이는 저렴한 대안 모델들보다 수십 배 더 많은 수치입니다. 반면, DeepSeek V4 Flash 0731과 같은 모델은 단 1.3에서 3.4 크레딧만으로 기능적인 사이트를 생성할 수 있습니다.

모델 성능 분석: 디자인 vs. 비용

Netlify는 동네 커피숍을 위한 원페이지 사이트를 구축하는 간단한 프롬프트를 사용하여 이 모델들을 테스트했습니다. 결과는 "turnkey" 방식의 고충실도 디자인과 반복적이고 저비용인 개발 사이의 트레이드오프를 보여줍니다.

프론티어 폐쇄형 소스 모델

Claude Opus 5: 시각적 디테일과 자기 검증의 골드 표준입니다. 가장 정교한 디자인을 생성하지만 크레딧 사용량의 변동성이 커서, 때때로 자체 기준치보다 4배 더 많은 크레딧을 소비하기도 합니다.
Claude Sonnet 5: 어느 정도의 디테일을 유지하면서도 Opus보다 단순한 벡터 그래픽과 적은 콘텐츠를 생성하는 중간 단계 옵션입니다.
GPT 5.6 Sol (Low Effort): 경제적으로 경쟁력이 있으면서도 기본적인 디자인 직관력과 콘텐츠 풍부함 면에서 Claude Sonnet 5보다 뛰어난 성능을 보여줍니다.
GPT 5.6 Terra: Sol보다 단순하지만 "AI-generated" 미학을 피하는 독특한 시각적 언어를 제공합니다. 다만, 때때로 이미지가 누락되는 것과 같은 시각적 오류가 발생하기도 합니다.
Gemini 3.6 Flash vs. 3.1 Pro: 이 두 모델 사이에는 세대적 격차가 존재합니다. Gemini 3.6 Flash는 현대적이고 콘텐츠가 풍부한 결과를 생성하는 반면, Gemini 3.1 Pro는 창의적인 확장 없이 프롬프트에만 엄격히 따르는 최소한의 페이지를 생성합니다.

오픈 웨이트 및 특화 모델

DeepSeek V4 Flash (0731): 테스트된 모델 중 가장 비용 효율적인 모델로, 평균 2.4 크레딧을 사용합니다. 놀랍게도 다양한 결과를 생성하며, 일부 실행에서는 중간 단계의 폐쇄형 모델을 모방하기도 합니다.
GLM 5.2: 저비용 옵션(평균 27 크레딧)으로, 실행마다 결과물이 매우 다양하게 나타나며, 이는 최적의 결과를 찾기 위해 여러 번의 반복 작업이 필요함을 시사합니다.
Kimi K3 & K2.7 Code: Kimi K3는 장기적인 에이전트 작업에 설계되었지만, 단기 디자인 작업에서는 특별히 두드러지지 않습니다. Kimi K2.7 Code는 매우 저렴하지만(19 크레딧) 디자인이나 콘텐츠 가치가 최소한입니다.
DeepSeek V4 Pro: 비슷한 가격대의 GPT 5.6 Terra와 비교했을 때 결과가 덜 영감을 주며, 깨진 이미지 링크와 같은 간헐적인 기술적 실패가 발생합니다.

기술적 구현: Agent Runners 및 AXIS

Netlify는 축소된 버전이 아닌 전체 코딩 에이전트를 통합한 Agent Runners를 활용합니다. 이 에이전트들은 Netlify Database, AI Gateway, Netlify Blobs와 같은 Netlify 전용 프리미티브를 활용할 수 있도록 특정 기술과 프로젝트 컨텍스트를 갖추고 있습니다.

품질 유지를 위해 Netlify는 오픈 소스 평가 프레임워크인 AXIS를 사용합니다. AXIS는 시각적 디자인보다는 데이터베이스가 필요한 경우 올바르게 구현되었는지와 같은 기능적 정확성을 기준으로 모델을 평가합니다. 이러한 기능적 검사를 통과하지 못하거나 크레딧 비용이 과도하게 높은 모델은 Agent Runners에서 제외됩니다.

커뮤니티 관점 및 비판적 분석

Hacker News의 개발자들 사이의 논의에 따르면, 이러한 "one-shot" 프롬프트 방식은 아이디어 구상에는 유용하지만 전문적인 소프트웨어 개발 워크플로우를를 대표하지는 않을 수 있습니다.

주요 비판

프롬프트 현실성: 일부 개발자들은 전문적인 작업은 두 문장짜리 프롬프트가 아닌 상세하고 반복적인 지침이 필요하다고 주장합니다. 한 사용자는 다음과 같이 언급했습니다:

"This 'oneshot from a simple prompt' eval is fairly meaningless when it comes to model evaluation itself, as it is in no way representative of real world application."
통계적 유의성: 비판론자들은 샘플 크기(N=3)가 작다는 점을 점을 지적하며, 확률적 모델들은 신뢰할 수 있는 성능 기준치를 설정하기 위해 더 많은 실행이 필요하다고 언급했습니다.
모바일 최적화: 평가에서 중요한 간극은 모바일 우선 디자인에 대한 집중 부족입니다. 사용자 분석에 따르면 일부 고비용 모델은 데스크톱에서는 시각적으로 인상적이지만 모바일 기기에서는 효과적이지 않거나 로딩 속도가 느린 사이트를 생성했습니다.
실용용성: 단순함의 가치: 일부 사용자들은 저렴한 모델(Gemini 3.1 또는 DeepSeek V4)의 결과물을 선호하며, "no-frills" 텍스트 기반 사이트가 "stylistic" AI 디자인보다 실제 고객에게 더 읽기 쉽다고 주장합니다.

모델 크레딧 사용량 요약

Model	Avg Credits	Notable Characteristic
Claude Opus 5	519	Highest detail, highest cost variance
Claude Sonnet 5	143	Mid-tier balance
GPT 5.6 Sol (Low Effort)	141	Strong design intuition
Gemini 3.6 Flash	103	Highly modern, content-rich
Kimi K3	102	Long-horizon tasks optimized
Gemini 3.1 Pro	53	Minimalist, strictly prompt-adherent
GPT 5.6 Terra	39
DeepSeek V4 Pro	37	Occasional technical glitches
GLM 5.2	27	High variance in output style
Kimi K2.7 Code	19	Extremely low cost, low design value
DeepSeek V4 Flash (0731)	2.4	Maximum efficiency, surprising variety