Deep Delta Learning (DDL)

是什么

Deep Delta Learning 是对标准 Transformer 架构的研究级改进。与通常的加性残差连接不同，每个子层从当前残差状态读取一个 方向，将其与学习到的 目标 进行比较，并沿相同方向写回一个 带门控的秩-1 修正。门控可以关闭（恒等）或打开（完全覆盖），使模型具备内置的“编辑”操作，能够替换残差流中的特定组件，同时保持其余部分不变。

为何重要

• 更具表现力的残差 – 无需扩展注意力/MLP 层，更新可存储多个值通道（d_v > 1），因此模型可以在计算开销几乎不变的情况下，跨深度保留额外信息。
• 目标导向偏差 – 更新显式尝试将读出结果驱动至学习到的目标，作者在多个基准测试中展示了验证损失和单样本下游准确率的提升。
• 即插即用 – 代码提供了标准 GPT 风格模型文件的即插即用替代品；只需更改导入语句，即可将基线模型替换为 DDL 版本。

核心组件（如仓库所述）

组件	作用
k_l（方向）	来自注意力或 MLP 输出的单位向量，用于选择要编辑的残差部分。
v_l（目标）	生成所选方向期望替换值的轻量分支。
β_l（门控）	取值于 (0,2) 的标量，计算方式为 2·σ(...)；控制旧读出结果被擦除与覆盖的程度。
扩展残差 X_l ∈ ℝ^{d×d_v}	在主 Transformer 宽度保持为 d 的前提下，存储多个值通道（扩展变体中 d_v=4）。
TC / CC / EC 模块	可选技巧：TC（时间压缩）使用因果卷积减少扩展状态，CC（通道混合）对每个 token 混合值通道，EC（初始化卷积）从 token 嵌入中初始化扩展状态。

报告结果

模型大小	验证损失（基线）	验证损失（最佳 DDL）	单样本准确率（基线）	单样本准确率（最佳 DDL）
~124 M	2.8543	2.8299（DDL‑TC）	48.56 %	49.47 %
~353 M	2.6053	2.5758（DDL‑CC）	53.96 %	55.14 %

作者指出，DDL 变体运行速度略慢，内存占用稍高（例如，小规模下为 1158 K tokens/s，而基线为 1509 K）。实验为单次运行，未进行计算量匹配。

如何使用代码

1. 克隆仓库，并安装 requirements.txt 中列出的依赖项（需 Python 3.14）。
2. 选择 model/ 下的一个模型文件。例如，DDL-gpt-mha-rope-CC-EC.py 实现了包含通道混合和初始化卷积的完整扩展状态版本。
3. 创建配置和模型，与 Hugging Face GPT 模型的使用方式完全相同：

   import importlib, torch
   ddl = importlib.import_module("model.DDL-gpt-mha-rope-CC-EC")
   cfg = ddl.GPTConfig()          # 默认生成约 124 M 模型，d_v=4
   model = ddl.GPT(cfg)
   ids = torch.randint(0, cfg.vocab_size, (1, 16))
   out = model(input_ids=ids, labels=ids)
   print(out.loss)
   

4. 如需 GPU 加速训练，使用依赖 Triton 内核的 *-accelerated.py 版本。
5. 若想复现报告数值，请遵循论文的训练设置（FineWeb‑Edu 数据集，49.15 B 个 token）。

安装

git clone https://github.com/yifanzhang-pro/deep-delta-learning.git
cd deep-delta-learning
python -m pip install -r requirements.txt
# 可选：安装 Triton 以支持加速文件
python -m pip install triton

许可证

代码采用 Apache 2.0 许可证发布，允许自由使用、修改和分发，需注明出处。

谁可能用得上？

• 探索大语言模型替代残差架构的研究人员。
• 寻找一种即插即用方式，为现有 Transformer 代码库添加低开销“编辑”机制的工程师。
• 对残差更新的理论分析（谱特性、delta 规则解释）感兴趣的人。

引用

若在工作中使用 DDL，请引用 arXiv 预印本：

@article{zhang2026deep,
  title   = {Deep Delta Learning},
  author  = {Zhang, Yifan and Liu, Yifeng and Wang, Mengdi and Gu, Quanquan},
  journal = {arXiv preprint arXiv:2601.00417},
  year    = {2026}
}