LLM効率の進化：KV共有、mHC、圧縮注意

大規模言語モデル（LLM）アーキテクチャの状況は変化しています。基本的なデコーダーのみのトランスフォーマーは依然として標準ですが、焦点は単にパラメータを拡大することから、長コンテキスト効率の最適化へと移っています。推論モデルやエージェントワークフローが、モデルにより多くのトークンを長時間メモリに保持させることを要求するにつれ、KV-cache のサイズ、メモリトラフィック、注意コストが主要なボトルネックとなっています。

Google、DeepSeek、その他のオープンウェイト貢献者からの最近のリリースは、トレンドを示しています。長コンテキスト推論の計算量とメモリフットプリントを削減しつつ、表現力を犠牲にしないよう設計された高度な「アーキテクチャトリック」の導入です。

Gemma 4：KV共有とレイヤーごとの埋め込み

GoogleのGemma 4スイートは、より小さなバリアント（E2B と E4B）において、2つの重要な効率志向の設計選択を導入しています。

クロスレイヤーKV共有

KV キャッシュのメモリ需要に対抗するため、Gemma 4 は共有 KV キャッシュ方式を採用しています。Grouped Query Attention（GQA）はすでに単一レイヤー内の複数クエリヘッド間で KV ヘッドを共有していますが、Gemma 4 はさらに異なるレイヤー間で KV 投影を共有します。

この設定では、後続のレイヤーは同じ注意タイプの直前の非共有レイヤーからキー・バリュー状態を再利用します。例えば、Gemma 4 E2B モデルでは、35層のうち最初の15層だけが独自の KV 投影を計算し、残りの20層はそれらを再利用します。これにより KV キャッシュサイズが実質的に半減し、E2B モデルでは128Kコンテキストで約2.7GB、E4B モデルでは約6GBのメモリが節約されます。

レイヤーごとの埋め込み（PLE）

KV 共有がメモリを削減する一方、PLE はパラメータ効率に焦点を当てています。目的は、小規模モデルがトランスフォーマー全体を拡大せずに、より多くのトークン固有情報を活用できるようにすることです。

各ブロックにトークン埋め込み層の完全コピーを与える代わりに、PLE は各トランスフォーマーブロックに小さなレイヤー固有のトークンベクトルを提供します。このベクトルは隠れ状態でゲートされ、フィードフォワード分岐の後に余分な残差更新として加えられます。これにより、コストの高いトランスフォーマーブロックの「実効」パラメータ数を小さく保ちつつ、安価なルックアップ型埋め込みテーブルに追加容量を格納できます。

Laguna XS.2：レイヤーごとの注意予算設定

Poolside の Laguna XS.2 は「レイヤーごとの注意予算設定」という概念を導入し、すべてのトランスフォーマーレイヤーが同じ注意容量を必要とするという前提に挑戦します。

Laguna XS.2 は、30層のスライディングウィンドウ注意層（ローカルコンテキスト）と10層のグローバル注意層（フルコンテキスト）を組み合わせて、レイヤーごとに注意コストを変化させます。革新はレイヤーごとのクエリヘッド数の使用にあります。具体的には、モデルはコストの低いスライディングウィンドウ層に多くのクエリヘッドを割り当て、コストの高いグローバル層には少ないクエリヘッドを割り当て、KV ヘッドは固定したままにします。これにより、注意容量が最も計算効率の良い場所に使われます。

ZAYA1-8B：圧縮畳み込み注意（CCA）

Zyphra が開発した ZAYA1-8B は、圧縮潜在空間で直接動作するメカニズム、Compressed Convolutional Attention（CCA）を導入します。

Multi-head Latent Attention（MLA）が主に KV キャッシュを削減するために潜在表現を使用し、計算のために再投影するのに対し、CCA は圧縮空間内で注意操作自体を実行します。これにより、KV キャッシュサイズだけでなく、プリフィルやトレーニング時に必要な FLOPs も削減されます。

圧縮による表現力の低下を緩和するため、CCA は圧縮されたクエリ（Q）とキー（K）表現に対して畳み込みミックスを行います。これらの畳み込みは、注意スコアが計算される前に圧縮ベクトルにローカルコンテキストを付与し、開発者は同等の圧縮設定下で CCA が MLA を上回ると主張しています。

DeepSeek V4：mHC とシーケンス圧縮

DeepSeek V4 は、残差経路と注意メカニズムの両方に焦点を当てた、アーキテクチャの複雑さにおける大きな飛躍を示しています。

多様体制約ハイパー接続（mHC）

DeepSeek V4 は、単一の残差ストリームを複数の並列残差ストリーム（ハイパー接続）に置き換えることで残差接続を近代化します。深いレイヤー間で信号が予測不可能に増幅または縮小するのを防ぐため、DeepSeek は「多様体制約」を導入しています。

残差マッピングは、二重確率行列（要素が非負で行と列の合計が1になる）という多様体に射影されます。これにより、並列ストリーム間で情報の安定した再配分が保証され、残差経路がより表現力豊かになる一方で、Attention や MoE レイヤーの FLOPs を大幅に増加させません。

CSA と HCA：シーケンス長圧縮

MLA が各トークンの表現を圧縮するのに対し、DeepSeek V4 の Compressed Sparse Attention（CSA）と Heavily Compressed Attention（HCA）はシーケンス長自体を圧縮します。

• CSA（Compressed Sparse Attention）: 緩やかな圧縮率とスパースセレクタを使用して、最も関連性の高い圧縮履歴ブロックを特定します。
• HCA（Heavily Compressed Attention）: 積極的な圧縮（例：128トークンを1エントリに圧縮）を行い、これらのエントリに対して密な注意を実施します。

CSA と HCA レイヤーを交互に配置し、最近のトークン用にローカルスライディングウィンドウブランチを維持することで、DeepSeek V4-Pro はオーバーヘッドを大幅に削減します。1Mトークンのコンテキストでは、DeepSeek V3.2 と比較して KV キャッシュサイズのわずか10％、推論 FLOPs の27％しか使用しません。

アーキテクチャトレンドのまとめ

GPT-2 から DeepSeek V4 への進化は明確な軌跡を示しています。トランスフォーマーブロックはもはや静的な存在ではなく、専門的最適化のモジュラーシステムです。現在のトレンドは、ブロック内部の複雑性を高めて実行時コストを削減することです。

モデル	主な効率イノベーション	対象指標
Gemma 4	クロスレイヤーKV共有 & PLE	KVキャッシュメモリ / パラメータ効率
Laguna XS.2	レイヤーごとのクエリヘッド予算設定	Attention FLOPs
ZAYA1-8B	圧縮畳み込み注意	KVキャッシュ & Attention FLOPs
DeepSeek V4	mHC & CSA/HCA	残差表現力 / 長コンテキストメモリ

これらのモデルがエージェントワークフローや大規模コンテキストウィンドウへと向かうにつれ、メモリと計算オーバーヘッドを外科的に削減しつつモデリング品質を維持する能力が、次世代 LLM アーキテクチャの決定的な特徴となるでしょう。