MoonshotAI/Kimi-K3

해결하는 문제

Kimi K3는 일반적으로 상당한 인간의 감독이 필요한 복잡하고 장기적인 작업에 대해 최첨단 수준의 지능을 제공합니다. 특히 GPU 커널 최적화, 칩 설계 및 비디오 편집과 같은 하이엔드 엔지니어링, 심층 연구 및 멀티모달 지식 작업을 목표로 합니다.

작동 원리

Kimi K3는 2.8조 개의 파라미터를 가진 Mixture-of-Experts (MoE) 모델입니다. Kimi Delta Attention (KDA) 및 Attention Residuals (AttnRes)를 특징으로 하는 새로운 아키텍처와 함께, 토큰당 896개의 전문가 중 16개를 활성화하는 Stable LatentMoE 프레임워크를 활용합니다. 네이티브 멀티모달 모델로서 단일 모델 내에서 텍스트, 이미지 및 비디오 처리를 통합하며, 100만 토큰의 거대한 컨텍스트 윈도우를 지원합니다.

대상

대규모 코드 저장소를 탐색하고, 터미널 도구를 오케스트레이션하며, 심층적인 멀티모달 연구를 수행할 수 있는 오픈 웨이트 모델이 필요한 연구자, 개발자 및 엔지니어를 위해 설계되었습니다.

주요 특징

• 대규모 스케일: 총 파라미터 수 2.8조 개의 최초의 오픈 3T급 모델.
• 네이티브 멀티모달리티: 텍스트, 이미지 및 비디오에 대한 통합적 이해.
• 장기 실행 능력: 장시간의 엔지니어링 세션 및 복잡한 소프트웨어 개발(예: CAD, 컴파일러 개발)을 지속할 수 있음.
• 극한의 컨텍스트: 최대 100만 토큰의 컨텍스트 윈도우 지원.
• 효율적인 스케일링: Stable LatentMoE 프레임워크를 사용하여 이전 모델 대비 스케일링 효율을 약 2.5배 향상.