Gemini 4 Carbon Intelligence Index v5 릴리스 노트
Gemini 4 Carbon 성능 개요
Google의 Gemini 4 Carbon은 Artificial Analysis Intelligence Index v5에서 59점을 기록하며 1위를 차지했습니다. 이 모델은 이전 Gemini 버전과 비교하여 복잡한 추론, 과학적 작업 및 지식 기반 업무에서 상당한 향상을 보여줍니다. HLE-Diamond 및 Terminal-Bench-Science를 포함한 9개 지표 평가 중 4개에서 선두를 달리고 있지만, 현재 Artificial Analysis Coding Agent Index에서는 Claude Opus 5.5에 이어 2위를 기록하고 있습니다.
기술적 역량 및 벤치마크
Gemini 4 Carbon은 에이전트 지식 업무에서 뚜렷한 개선을 보였으며, 특히 AA-Briefcase 평가에서는 Gemini 4 Argon 모델보다 126점 높은 Elo 점수를 기록했습니다. 이러한 성과에도 불구하고, 특정 지식 집약적 작업에서는 Grok 4.7이나 Muse Wonder와 같은 모델에 비해 여전히 뒤처져 있습니다.
코딩 벤치마크에서 Carbon은 Artificial Analysis Coding Agent Index에서 59점을 기록하여 62점을 기록한 Claude Opus 5.5 (max)보다 낮았습니다. 그러나 이는 Google이 과거 코딩 관련 에이전트 작업에서 저조한 성과를 보였던 점을 고려할 때 주목할 만한 개선입니다. 이 모델은 1M 토큰 컨텍스트 윈도우를 특징으로 하며 텍스트, 이미지, 비디오 및 음성을 포함한 멀티모달 입력을 지원합니다.
비용 및 가용성
Gemini 4 Carbon은 현재 일부 사용자에게 단계적으로 배포되고 있으며 아직 일반에 공개되지 않았습니다. Google은 1M 입력 토큰당 $4, 1M 출력 토큰당 $20인 표준 가격에 대해 50% 출시 할인을 적용했습니다. Claude Opus 5.5와 비교했을 때, Carbon은 유사한 지능 지표를 유지하면서도 작업당 비용이 $10.04보다 낮은 약 $7.76으로 추정됩니다.
커뮤니티 반응 및 우려 사항
이번 발표는 주로 모델의 제한된 가용성으로 인해 개발자 커뮤니티로부터 회의적인 반응을 얻었습니다. 많은 사용자가 모델을 독립적으로 테스트할 수 없다는 점에 불만을 표했으며, 일부는 이전 Google 모델들이 출시 직후 성능 저하나 '지능 저하(lobotomization)'를 겪었다고 지적했습니다.
Artificial Analysis 인덱스 방법론에 대한 논의도 제기되었으며, 일부 관찰자들은 주요 모델 릴리스와 관련된 인덱스 업데이트 시점에 대해 의문을 제기했습니다. 비평가들은 평가의 상당 부분이 비공개이며 대중이 재현할 수 없다는 점을 들어 벤치마크의 투명성에 대한 우려를 표명했습니다.
"이 인덱스에는 모델 선택기에는 많은 모델이 나열되어 있지만 인덱스에서는 누락된 문제가 있습니다. 이 때문에 시간이 지남에 따른 개선 사항을 확인하기가 다소 까다롭습니다." — @terhechte
"아직 출시되지 않은 모델의 벤치마크는 확실히 의심스럽습니다. 또한 Google은 실제로 사용할 수 없는 모델을 '출시'하는 것을 중단해야 한다고 생각합니다." — @tlogan
"최신 업데이트를 기준으로 볼 때, 저는 그들의 인덱스를 신뢰하기 어렵고 다소 수상하다고 생각합니다. AA 인덱스에 기여하는 벤치마크의 60%가 현재 비공개 상태이며, 아무도 이를 재현할 수 없습니다." — @GodelNumbering
Sources
관련
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch