Official Project Page for Deep Delta Learning (https://arxiv.org/abs/2601.00417)

Deep Delta Learning (DDL)

무엇인가요

Deep Delta Learning은 표준 Transformer 아키텍처에 대한 연구용 개선입니다. 일반적인 덧셈형 잔차 연결 대신 각 서브레이어는 현재 잔차 상태에서 방향을 읽어들여 학습된 타겟과 비교하고, 동일한 방향으로 게이트가 있는 랭크-1 보정을 쓰레기로 되돌립니다. 게이트는 닫힐 수 있거나 열릴 수 있으며, 이는 모델에 내장된 "편집" 연산을 가능하게 하여 잔차 스트림의 특정 구성 요소만을 교체하면서 나머지는 그대로 유지할 수 있게 합니다.

왜 중요한가요

더 표현력 있는 잔차 – 주의 또는 MLP 레이어를 넓히지 않고도 여러 값 채널(d_v > 1)을 저장할 수 있어, 계산 비용을 거의 증가시키지 않고 깊이에 걸쳐 추가 정보를 유지할 수 있습니다.
타겟 향한 편향 – 보정이 읽기 출력을 학습된 타겟으로 이끌도록 명시적으로 설계되어, 여러 벤치마크에서 검증 손실과 원샷 하류 정확도가 향상됨을 저자들이 보여주었습니다.
즉시 교체 가능 – 코드는 일반적인 GPT 스타일 모델 파일의 즉시 교체를 제공하며, import 문을 변경함으로써 베이스라인 모델을 DDL 버전으로 쉽게 교체할 수 있습니다.

핵심 구성 요소 (리포지토리에서 설명된 내용)

구성 요소	역할
`k_l` (방향)	주의 또는 MLP 출력에서 나온 단위 벡터로, 잔차의 어느 부분을 편집할지 선택합니다.
`v_l` (타겟)	선택된 방향에 대한 원하는 대체 값을 생성하는 가벼운 브랜치입니다.
`β_l` (게이트)	`(0,2)` 범위의 스칼라로 `2·σ(...)`로 계산되며, 이전 읽기 출력의 지우기와 덮어쓰기 비율을 제어합니다.
확장된 잔차 `X_l ∈ ℝ^{d×d_v}`	주요 Transformer의 폭 `d`를 유지하면서 여러 값 채널(`d_v=4`는 확장된 변형에서)을 저장합니다.
TC / CC / EC 모듈	선택적 기법: TC(시간 압축)은 인과 컨볼루션으로 확장된 상태를 압축하고, CC(채널 혼합)은 각 토큰마다 값 채널을 혼합하며, EC(초기화 컨볼루션)은 토큰 임베딩에서 확장된 상태를 초기화합니다.

보고된 결과

모델 크기	검증 손실 (베이스라인)	검증 손실 (최고 DDL)	1-샷 정확도 (베이스라인)	1-샷 정확도 (최고 DDL)
~124 M	2.8543	2.8299 (DDL‑TC)	48.56 %	49.47 %
~353 M	2.6053	2.5758 (DDL‑CC)	53.96 %	55.14 %

저자들은 DDL 변형이 약간 느리고 메모리 사용량이 다소 높다고 지적했습니다 (예: 소규모에서 1158 K 토큰/초 vs. 베이스라인의 1509 K). 실험은 단일 실행이며, 계산량이 매칭되지 않았습니다.

코드 사용 방법

리포지토리 클론하고 requirements.txt에 나열된 종속성을 설치합니다 (Python 3.14 필요).
model/ 아래의 모델 파일 중 하나를 선택합니다. 예: DDL-gpt-mha-rope-CC-EC.py는 채널 혼합과 초기화 컨볼루션을 포함한 완전한 확장 상태 버전을 구현합니다.

Hugging Face GPT 모델과 동일하게 설정과 모델을 생성합니다:

import importlib, torch
ddl = importlib.import_module("model.DDL-gpt-mha-rope-CC-EC")
cfg = ddl.GPTConfig()          # 기본값은 약 124 M 모델, d_v=4
model = ddl.GPT(cfg)
ids = torch.randint(0, cfg.vocab_size, (1, 16))
out = model(input_ids=ids, labels=ids)
print(out.loss)

GPU 가속 학습을 원한다면 *-accelerated.py 버전을 사용하며, 이는 Triton 커널에 의존합니다.
보고된 수치를 재현하려면 논문의 학습 설정(FineWeb‑Edu 데이터셋, 49.15 B 토큰)을 따르세요.

설치

git clone https://github.com/yifanzhang-pro/deep-delta-learning.git
cd deep-delta-learning
python -m pip install -r requirements.txt
# 선택: 가속 파일용 Triton 설치
python -m pip install triton

라이선스

코드는 Apache 2.0 라이선스 하에 배포되며, 출처를 명시하면 자유롭게 사용, 수정, 배포할 수 있습니다.

누구에게 유용할까?

대규모 언어 모델을 위한 대체 잔차 아키텍처를 탐구하는 연구자.
기존 Transformer 코드베이스에 저비용의 "편집" 메커니즘을 즉시 도입하고자 하는 엔지니어.
잔차 업데이트의 이론적 분석(스펙트럼 특성, 델타 규칙 해석)에 관심 있는 사람.

인용

DDL을 연구에 사용할 경우, arXiv 프리프린트를 인용하세요:

@article{zhang2026deep,
  title   = {Deep Delta Learning},
  author  = {Zhang, Yifan and Liu, Yifeng and Wang, Mengdi and Gu, Quanquan},
  journal = {arXiv preprint arXiv:2601.00417},
  year    = {2026}
}

yifanzhang-pro/deep-delta-learning

Deep Delta Learning (DDL)

관련