Kimi K3 アーキテクチャの概要

Kimi K3は、2.8兆のパラメータを持つ大規模なオープンウェイトモデルであり、従来のKimi Linearモデルのアーキテクチャをスケールアップさせたものです。LatentMoEとマルチヘッド潜在アテンション（multi-head latent attention）の統合を通じて推論効率を最大化することに焦点を当てつつ、ネイティブなマルチモーダル・サポートを導入しています。

効率重視のアーキテクチャ・コンポーネント

Kimi K3は、2.8Tというパラメータ規模による計算オーバーヘッドを削減するため、標準的なモデルコンポーネントを効率化されたバージョンに置き換えています。

LatentMoE

Kimi K3は、Nemotron 3 Ultraに見られるものと同様のコンポーネントであるLatentMoEを実装しています。この手法は、ダウンプロジェクション（down-projection）を介して大きな線形層を圧縮し、Mixture-of-Experts (MoE) 層のメモリおよび計算要件を効果的に削減します。

Multi-Head Latent Attention と Kimi Delta Attention

推論をさらに最適化するために、このモデルは通常の注意機構をマルチヘッド潜在アテンション（multi-head latent attention）とKimi Delta Attentionに置き換えています。これらのコンポーネントは、大規模環境におけるアテンション機構のスループットと効率を向上させるように設計されています。

パフォーマンスと構造的な強化

効率化に加えて、Kimi K3はモデルの学習能力と検証損失（validation loss）を改善するために、特定の構造的変更を導入しています。

Attention Residuals

Kimi K3は、残差パスを改善するためにアテンション・レジデュアル（attention residuals）を利用しています。残差パスを広げるDeepSeek V4で使用されているmanifold-constrained Hyper-Connections (mHC) とは異なり、アテンション・レジデュアルは、寄与度を決定するためにアテンション・スコアを使用して層をまたいで残差を接続します。この変更により、検証損失とダウンストリームのパフォーマンスが一貫して向上しており、学習コストは約4%、推論コストは2%増加します。

NoPE (No Positional Embeddings)

ローカル・アテンション層にRotary Positional Embeddings (RoPE) を使用するという業界のトレンドから離れ、Kimi K3はあらゆる場所でNoPE (No Positional Embeddings) を使用しています。この設計はKimi Linearから継承されており、Kimi K3は、位置情報を暗黙的に学習するために位置エンベディングを完全に省略した最初のフロンティア級モデルとなります。

コミュニティの洞察と観察

K3のリリースを巡る技術的な議論では、革新性のレベルと、位置エンベディングの省略に対する懐疑論の両方が強調されています。

「興味深いことに、Kimi K3はすべてのRoPE層を排除し、代わりにどこでもNoPE (No Positional Embeddings) を使用している... これがそもそも機能すること自体が、私には理解できない。」

一部の観察者は、Kimi Deltaのような線形アテンション機構が位置情報の要件を暗黙的に処理している可能性があり、それによってモデルが明示的なRoPE層なしで機能できているのではないかと示唆しています。さらに、ユーザーはKimi K3のパフォーマンスが、Opus 4.7/4.8のような他のフロンティアモデルに対して非常に競争力があることに注目しています。」