Official Project Page for Deep Delta Learning (https://arxiv.org/abs/2601.00417)

Deep Delta Learning (DDL)

何であるか

Deep Delta Learning は、標準的な Transformer アーキテクチャに対する研究用の改良です。通常の加算型残差接続ではなく、各サブレイヤーは現在の残差状態から方向を読み取り、学習された ターゲット と比較し、同じ方向に ゲート付きランク1補正 を書き戻します。ゲートは閉じる（恒等写像）または開く（完全上書き）ことができ、モデルに組み込まれた「編集」操作を可能にし、残差ストリームの特定の部分を置き換えつつ、他の部分はそのままに保つことができます。

なぜ重要か

より表現力のある残差 – 更新は注意機構やMLPレイヤーを広げることなく、複数の値チャンネル（d_v > 1）を保持できるため、計算コストをほとんど増やさずに深さにわたって追加情報を保持できます。
ターゲット指向のバイアス – 更新は読み出しを学習されたターゲットに引き寄せるように意図的に設計されており、著者らはいくつかのベンチマークで検証損失とワンショット下流精度の向上を示しています。
即時導入可能 – コードは通常のGPTスタイルのモデルファイルの即時置き換えを提供しており、インポートを変更するだけでベースラインモデルをDDLバージョンに切り替えることができます。

主要なコンポーネント（リポジトリで説明されているもの）

コンポーネント	役割
`k_l`（方向）	注意機構またはMLP出力からの単位ベクトルで、どの部分の残差を編集するかを選択します。
`v_l`（ターゲット）	選択された方向に対する望ましい置換値を生成する軽量ブランチです。
`β_l`（ゲート）	`(0,2)` のスカラーで `2·σ(...)` として計算され、古い読み出しの消去と上書きの割合を制御します。
拡張された残差 `X_l ∈ ℝ^{d×d_v}`	主なTransformerの幅 `d` を維持したまま、複数の値チャンネル（拡張バージョンでは `d_v=4`）を格納します。
TC / CC / ECモジュール	オプションのテクニック：TC（時系列圧縮）は因果畳み込みで拡張状態を圧縮し、CC（チャンネル混合）は各トークンごとに値チャンネルを混合し、EC（初期化畳み込み）はトークン埋め込みから拡張状態を初期化します。

報告された結果

モデルサイズ	検証損失（ベースライン）	検証損失（最良DDL）	ワンショット精度（ベースライン）	ワンショット精度（最良DDL）
~124 M	2.8543	2.8299（DDL‑TC）	48.56 %	49.47 %
~353 M	2.6053	2.5758（DDL‑CC）	53.96 %	55.14 %

著者らは、DDLバージョンはわずかに遅く、メモリ使用量もやや多い（たとえば、小規模では1158 Kトークン/秒 vs. ベースラインの1509 K）と指摘しています。実験は単一実行であり、計算量がマッチしていないことに注意してください。

コードの使い方

リポジトリをクローンし、requirements.txt に記載された依存関係をインストールします（Python 3.14が必要）。
model/ ディレクトリ内のモデルファイルを選択します。たとえば、DDL-gpt-mha-rope-CC-EC.py はチャンネル混合と初期化畳み込みを含む完全な拡張状態バージョンを実装しています。

Hugging Face GPTモデルと同様に、設定とモデルを作成します：

import importlib, torch
ddl = importlib.import_module("model.DDL-gpt-mha-rope-CC-EC")
cfg = ddl.GPTConfig()          # デフォルトで約124 Mモデル、d_v=4
model = ddl.GPT(cfg)
ids = torch.randint(0, cfg.vocab_size, (1, 16))
out = model(input_ids=ids, labels=ids)
print(out.loss)

GPU加速トレーニングの場合は、Tritonカーネルに依存する *-accelerated.py バージョンを使用します。
記載された数値を再現したい場合は、論文のトレーニング設定（FineWeb‑Eduデータセット、49.15 Bトークン）に従ってください。

インストール

git clone https://github.com/yifanzhang-pro/deep-delta-learning.git
cd deep-delta-learning
python -m pip install -r requirements.txt
# オプション：加速ファイル用にTritonをインストール
python -m pip install triton

ライセンス

コードはApache 2.0ライセンスの下で公開されており、出典を明記すれば自由に使用・改変・配布が可能です。

誰にとって有用か？

大規模言語モデル向けの代替残差アーキテクチャを探索する研究者。
既存のTransformerコードベースに低コストの「編集」機構を即時導入したいエンジニア。
残差更新の理論的分析（スペクトル特性、デルタルール解釈）に興味のある人。

引用

DDLを研究で使用する場合、arXivプレプリントを引用してください：

@article{zhang2026deep,
  title   = {Deep Delta Learning},
  author  = {Zhang, Yifan and Liu, Yifeng and Wang, Mengdi and Gu, Quanquan},
  journal = {arXiv preprint arXiv:2601.00417},
  year    = {2026}
}

yifanzhang-pro/deep-delta-learning

Deep Delta Learning (DDL)

関連