Kimi K3 출시: 2.8조 파라미터 모델과 Pelican Benchmark

Kimi K3: 새로운 3T급 프론티어 모델

Moonshot AI는 2.8조 개의 파라미터를 가진 최초의 "open 3T-class model"인 Kimi K3를 발표했습니다. 이 모델은 현재 공식 웹사이트와 API를 통해 이용 가능하며, 2026년 7월 27일에 open-weight release가 예정되어 있습니다. Kimi K3는 1조 개의 파라미터를 가졌던 이전 모델인 Kimi K2.6에서 크게 규모가 확장되었습니다.

성능 및 벤치마크

Kimi K3는 업계 선도적인 프론티어 모델들과 경쟁력 있는 성능을 보여줍니다:

• 일반 능력: 자체 보고된 벤치마크에 따르면 K3는 일반적으로 Claude Opus 4.8 max 및 GPT-5.5 high를 능가하지만, Claude Fable 5 및 GPT-5.6 Sol에는 뒤처집니다.
• 장기 지식 작업: Artificial Analysis 보고서에 따르면, Kimi K3는 Kimi K2.6 대비 732포인트 상승한 1547의 Elo를 달성하여 Claude Fable 5에 이어 두 번째를 기록했습니다.
• 코딩: Kimi K3는 현재 Arena.ai의 Frontend Code arena에서 Claude Fable 5를 제치고 1위를 차지하고 있습니다.
• 효율성: 이 모델은 향상된 토큰 효율성을 보여주며, Artificial Analysis Intelligence Index에서 K2.6보다 21% 적은 출력 토큰을 사용합니다.

가격 및 비용 구조

Kimi K3는 Anthropic의 Claude Sonnet 시리즈의 가격 정책을 반영하여, 현재까지 중국 AI 연구소에서 출시한 모델 중 가장 비싼 모델입니다:

• 입력 토큰: 100만 토큰당 $3.
• 출력 토큰: 100만 토큰당 $15.

이는 입력 토큰당 $0.95, 출력 토큰당 $4였던 Kimi K2.6에 비해 상당히 증가한 수치입니다.

"Pelican Benchmark"를 통한 분석

모델의 실질적인 공간 추론 및 출력 타당성을 평가하기 위해, 모델에게 "Generate an SVG of a pelican riding a bicycle"라고 요청하는 프롬프트인 "pelican benchmark"를 Kimi K3에 적용했습니다.

SVG 테스트의 주요 결과

이 특정 프롬프트를 실행한 결과 K3 모델의 몇 가지 기술적 특성이 드러났습니다:

1. 높은 추론 오버헤드: Kimi K3는 현재 단 하나의 추론 노력 수준("max")만을 제공합니다. Pelican SVG를 생성하기 위해 모델은 3,417개의 응답 토큰을 생성하는 데 13,241개의 추론 토큰을 소비하였으며, 그 결과 단일 프롬프트에 25센트의 비용이 발생했습니다.
2. 숨겨진 시스템 프롬프트: 프롬프트 자체는 짧지만, Kimi K3는 95개의 입력 토큰을 기록했습니다. 단순한 "hi" 프롬프트로 테스트했을 때 86개의 토큰이 기록된 것으로 보아, 약 85개의 토큰으로 구성된 숨겨진 시스템 프롬프트가 존재함을 시사합니다.
3. 강력한 시각 능력: 생성된 SVG를 다시 Kimi K3에 입력하여 이미지-텍스트 설명(image-to-text description)을 수행했을 때, 모델은 해당 장면을 매우 정확하고 상세하게 설명하는 alt-text를 생성했습니다.

Pelican Benchmark의 타당성

Pelican 테스트는 새로운 모델을 위한 유용한 "hello world" 역할을 하지만, 비교 벤치마크로서의 효용성은 진화하고 있습니다:

• 상관관계 약화: SVG 생성 품질과 전반적인 모델 지능의 상관관계가 약화되었습니다. GLM-5.2와 같은 모델은 Claude Fable 5와 같은 급의 모델이 아님에도 불구하고 더 뛰어난 pelican을 생성합니다.
• 에이전트 기능 테스트 부족: 이 벤치마크는 현대 프론티어 모델의 핵심인 에이전트 도구 호출(agentic tool calling)이나 긴 대화에서의 신뢰성 유지 능력을 테스트하지 않습니다.
• 잠재적 과fitting(Overfitting): 블로그나 GitHub에서 널리 공유되는 이러한 특정 프롬프트들에 대해 모델들이 학습 데이터로 학습하고 있을 가능성에 대한 커뮤니티의 논의가 활발합니다.

커뮤니티 인사이트 및 기술적 관점

Kimi K3 출시와 관련된 논의는 LLM 개발의 몇 가지 광범위한 트렌드를 조명합니다:

• 파라미터 수 vs 지능: 일부 관찰자들은 파라미터 수(메모리)보다 주의 집중 밀도(attention density, 즉 지능능력)가 더 중요해지고 있다고 제안합니다. 예를 들어, GLM은 DeepSeek의 절반 크기임에도 불구하고 여러 벤치마크에서 이를 능가합니다.
• 컴퓨팅 자원 제약: 고성능 컴퓨팅 자원 사용에 대한 잠재적 제한을 것을 고려할 때, 중국 연구소들이 어떻게 3조 파라미터 규모의 모델을 학습시키고 있는지에 대한 지속적인 추측이 이루어지고 있습니다.
• 일관성 문제: 사용자들은 단일 실행 벤치마크가 오해를 불러일으킬 수 있다고 지켜보다가, 출력 품질의 변의(variance) vary-ance를 고려하여 모델별로 여러 번 실행해야 한다고 지합니다합니다.

"The gap is closing. I think Kimi 3 is only 3 months behind the US model. It’s gpt 5.5 class model, which was released in the end of April."

"If you cut costs on attention, you get worse results with way more parameters. If I had to guess it seems to be the difference between memory (params) and intelligence (attention density)."