Moonshot AI Kimi K3.1 Pro 모델 출시

개요

Moonshot AI는 에이전트 작업을 위해 설계된 2.8T 파라미터 규모의 네이티브 멀티모달 모델인 Kimi K3.1 Pro를 출시했습니다. K3.1 시리즈의 첫 번째 모델인 이 제품은 100만 토큰의 컨텍스트 윈도우를 특징으로 하며, 코딩, 3D 생성 및 금융 연구 분야의 성능 향상을 위해 Mixture-of-Experts (MoE) 아키텍처를 활용합니다.

기술 아키텍처

Kimi K3.1 Pro는 총 2.8조 개의 파라미터를 가진 거대한 MoE 아키텍처를 기반으로 하며, 토큰당 1,040억 개의 파라미터가 활성화됩니다. 이 모델은 896개의 전문가 모델을 포함하여 토큰당 16개를 선택하며, 2개의 공유 전문가를 활용합니다. 주요 아키텍처 사양은 다음과 같습니다:

  • 어텐션 메커니즘: 69개의 KDA (Kimi Deep Attention) 레이어와 24개의 Gated DSA (DeepSeek Sparse Attention) 레이어를 사용하는 하이브리드 접근 방식을 채택하여, 이전 버전의 전체 어텐션 Gated MLA 레이어를 대체함으로써 긴 컨텍스트 효율성을 개선했습니다.
  • 비전 인코더: 4억 100만 파라미터 규모의 MoonViT-V2.
  • 양자화: MXFP4 가중치와 MXFP8 활성화를 사용하는 양자화 인식 학습(Quantization-aware training)을 사용합니다.
  • 컨텍스트 윈도우: 1,048,576 토큰을 네이티브로 지원합니다.

성능 및 벤치마크

Moonshot AI는 Kimi K3.1 Pro가 코딩 및 에이전트 벤치마크 전반에서 경쟁력 있는 결과를 보여준다고 보고합니다. 내부 평가에서 이 모델은 Terminal-Bench 4.0(65.7) 및 SWE Marathon v1.1(51.7)과 같은 작업에서 강력한 성능을 입증했습니다. 이 모델은 추론을 위해 특별히 최적화되었으며, 구성 가능한 reasoning_effort 파라미터(low, high, max)를 제공합니다.

커뮤니티 반응 및 배포

이번 출시는 프런티어급 모델의 상품화를 향한 중요한 발걸음으로 환영받고 있지만, 커뮤니티에서는 로컬 실행을 위한 상당한 하드웨어 요구 사항에 주목하고 있습니다.

하드웨어 및 접근성

2.8T 파라미터 크기를 고려할 때, 대부분의 사용자에게 로컬에서 모델을 실행하는 것은 비현실적이며 고급 엔터프라이즈 하드웨어가 필요합니다. 그러나 이 모델은 이미 타사 추론 제공업체에 통합되고 있어 개발자의 진입 장벽을 낮출 수 있을 것으로 보입니다. 커뮤니티 구성원들은 다음과 같이 언급했습니다:

"집에서 실행할 수 없더라도, 이는 추론의 상품화 및 다양화, 그리고 집중된 권력을 분산시키는 방향으로 나아가는 한 걸음입니다. 수년간 수십억 달러를 투자하여 연구하고 학습시키는 대신, 100만 달러 규모의 GPU 자본으로 프런티어급 모델을 서비스할 수 있다는 것은 큰 차이입니다." — @handle

벤치마킹 우려

일부 관찰자들은 모델의 성능 지표에 대해 의문을 제기하며, 결과가 기존 테스트에서 좋은 점수를 받기 위해 특별히 최적화된 "벤치맥싱(benchmaxxed)"일 수 있다고 지적했습니다. 반면, 다른 사용자들은 실제 사용 경험이 긍정적이라고 보고하며, 이 모델이 복잡한 코딩 워크플로우를 위해 기존의 독점 모델을 대체할 수 있는 실행 가능하고 비용 효율적인 대안이 된다고 언급했습니다.

가용성

이 모델은 OpenAI/Anthropic 호환 API를 지원하는 Moonshot AI 플랫폼을 통해 사용할 수 있습니다. vLLM, SGLang, TokenSpeed와 같은 추론 엔진과 함께 사용하는 것을 권장합니다. 전체 문서와 퀵스타트 가이드는 공식 Moonshot AI 플랫폼에서 확인할 수 있습니다.

Sources

관련