Kimi Delta Attention は、チャネルごとの忘却を備えた DeltaNet を基礎としています

Kimi Delta Attention (KDA) は DeltaNet の delta‑rule 書き込みを保持しつつ、スカラーの保持ゲート αₜ をベクトル αₜ ∈ [0,1]^{dₖ} に置き換え、対角行列 Dₜ = Diag(αₜ) として適用します。これにより各キー・チャネルを独立に忘却または保持でき、Gated DeltaNet が全体状態に対して単一の αₜ を適用するのとは対照的です。再帰の残りの部分—予測、補正、書き込み、読み取り—は変更されません。

ソフトマックス注意から KDA への導出は 3 ステップで進む

因果的ソフトマックス注意から開始し、ソフトマックスを除去すると状態 (Sₜ = \sum_{i\le t} |v_i\rangle\langle k_i|) を持つ線形注意になります。更新が += のように振る舞うことに気づき、DeltaNet はエラー駆動書き込み (eₜ = βₜ(|v_t\rangle - S_{t-1}|k_t\rangle)) を導入し、(Sₜ = S_{t-1} + eₜ\langle k_t|) とします。Gated DeltaNet は delta 更新の前に全体忘却係数 αₜ を加え、(Sₜ = αₜ S_{t-1} + βₜ(|v_t\rangle - αₜ S_{t-1}|k_t\rangle)\langle k_t|) とします。KDA は αₜ を対角行列に拡張し、チャネルごとの忘却を可能にします: (Sₜ = S_{t-1} Dₜ + βₜ(|v_t\rangle - S_{t-1} Dₜ|k_t\rangle)\langle k_t|).

効率的な実行は融合再帰カーネルまたはチャンク単位カーネルのいずれかを使用

自己回帰デコードの場合、融合された再帰 Triton カーネルがトークンを 1 つずつ処理します:

state *= exp(g_t)[:,None];
prediction = sum(state * k_t[:,None], axis=0);
residual = β_t * (v_t - prediction);
state += k_t[:,None] * residual[None,:];
output = sum(state * (q_t * SCALE)[:,None], axis=0);

学習や長いプレフィルの場合、同じ再帰を行列積に再構成したチャンク単位実装が使用され、暫定エラーを計算し、三角形解法で因果依存性を復元し、状態を高速に前進させ、因果出力を生成します。I+R_c が単位対角を持つ三角行列であるため、密な逆行列を形成することなく実現できます。

コミュニティの反応は導出の明快さと後知恵の謙虚さを強調

多くのコメント者は、ブラ‑ケット表記と従来の数学表記を切り替える記法を称賛し、形状と演算がより明確になると述べました。ある人は「数学と物理の切り替えが好き」と書き、別の人は「切り替えが本当に便利。好きです!!」とコメントしました。ブラ‑ケットの選択は、最終的に理解を助けた免責事項として説明されました: 「作者がアルゴリズムとデータ構造を明確にするためにブラ‑ケット表記を選んだと冒頭で免責したのは、かなりの手間だとわかります。」

数人の読者は自分ではこの手法を考案できなかったと述べ、例えば「ざっと読んだだけで、Kimi Delta Attention を自分で思いつくことは絶対にできなかった」とコメントしました。また、解決策が後から見れば自明であるという感想もあり、「誰でもできたはず！卵を割ることは言わなかったのに！」というコロンブスの卵的な意見がありました。数名は記事が LLM 生成かどうかを疑い、免責説明を手がかりにしました。その他、段階的な導出が複雑なテーマを「はるかに理解しやすく」したと評価し、dₖ のような記号のリフレッシュを求める声もありました。記法は助けになったものの、次元に関する背景情報が欲しい読者もいました。

Kimi Delta Attention は概念的にシンプルでありながら線形注意を効果的に拡張

スカラー保持をチャネルごとの対角行列に昇格させることで、KDA は Gated DeltaNet がすべてのチャネルで同一の忘却率を共有するという制限を解消します。結果として得られる状態更新は対角＋低ランク演算のままで、低レイテンシの再帰デコードと高スループットのチャンク単位学習の両方を可能にします。ソフトマックス注意から DeltaNet、Gated DeltaNet、そして KDA へと続く記事の導出は、多くの読者にとってアクセスしやすい明確な道筋を提供し、たとえ独自に解決策に辿り着くことはできなかったとしても、理解しやすいと評価されています。