MoonshotAI/Kimi-K3

解決する課題

Kimi K3は、通常、多大な人間の監視を必要とする複雑で長期的なタスクに対して、最先端レベルのインテリジェンスを提供します。特に、GPUカーネルの最適化、チップ設計、ビデオ編集などのハイエンドなエンジニアリング、ディープリサーチ、およびマルチモーダルなナレッジワークをターゲットとしています。

仕組み

Kimi K3は、2.8兆パラメータのMixture-of-Experts (MoE) モデルです。Kimi Delta Attention (KDA) と Attention Residuals (AttnRes) を特徴とする新しいアーキテクチャを採用しており、Stable LatentMoEフレームワークによってトークンごとに896個の専門家のうち16個をアクティブ化します。ネイティブ・マルチモーダルであり、単一のモデル内でテキスト、画像、ビデオの処理を統合し、100万トークンという巨大なコンテキストウィンドウをサポートしています。

対象者

大規模なコードリポジトリのナビゲーション、ターミナルツールのオーケストレーション、および高度なマルチモーダルリサーチを実行できるオープンウェイトモデルを必要とする研究者、開発者、エンジニア向けに設計されています。

ハイライト

• 大規模スケール: 総パラメータ数2.8兆の初のオープンな3Tクラスモデル。
• ネイティブ・マルチモーダリティ: テキスト、画像、ビデオの統合的な理解。
• 長期実行能力: 長時間のエンジニアリングセッションや複雑なソフトウェア開発（例：CAD、コンパイラ開発）の維持が可能。
• 極限のコンテキスト: 最大100万トークンのコンテキストウィンドウをサポート。
• 効率的なスケーリング: Stable LatentMoEフレームワークを使用し、前身モデルと比較してスケーリング効率を約2.5倍向上。