catid/dora
Implementation of DoRA
개요
이 프로젝트는 대규모 신경망을 효율적으로 미세 조정하기 위한 기술인 DoRA(Weight-Decomposed Low-Rank Adaptation)의 특정 구현을 제공합니다. 코드는 원본 구현을 기반으로 하지만 한 가지 주요 변경 사항이 포함되어 있습니다. 학습 가능한 크기(magnitude) 값이 낮은 정밀도가 아닌 FP32(고정밀 부동 소수점 형식)로 저장됩니다. 이 변경은 학습 안정성이나 정확도를 향상시키기 위한 것입니다.
이 저장소에는 다음이 포함됩니다:
- 선형 레이어에 DoRA를 적용하는 사용자 정의 PyTorch 레이어(
DoRALayer). - 모델의 표준 선형 레이어를 DoRA 레이어로 교체하는 헬퍼 함수(
replace_linear_with_dora). - 정확성을 검증하는 테스트 제품군.
- 저랭크 인자에 대한 76가지의 서로 다른 초기화 방법을 비교한 광범위한 실험 연구와 여러 작업에 대한 상세 결과.
DoRA 작동 방식
주어진 가중치 행렬 W(형태 [out_features, in_features])에 대해 DoRA는 다음과 같이 적응된 가중치를 계산합니다:
V = W + A @ B
W_adapted = m * (V / column_norm(V))
A와B는 미세 조정 중에 학습되는 저랭크 행렬(어댑터)입니다.m은 열별 크기 벡터(형태[1, in_features])로, 정규화 후V의 각 열을 스케일링합니다.- 정규화는 각 열을 유클리드 노름으로 나누므로 크기는
m에 의해 별도로 제어됩니다.
원본 구현은 A를 무작위 정규값으로, B를 0으로 초기화하므로 초기 적응 가중치는 원래의 W와 같습니다. 이 프로젝트의 유일한 수정 사항은 학습 중 정밀도를 유지하기 위해 m을 FP32로 저장한다는 점입니다.
사용법
코드를 사용하려면 종속성을 설치하고 메인 스크립트나 테스트를 실행하십시오:
python -m pip install -r requirements.txt
python dora.py
python -m unittest -v test_dora
Python에서는 기존 선형 레이어에서 DoRA 레이어를 생성할 수 있습니다:
import torch
from torch import nn
from dora import DoRALayer, replace_linear_with_dora
base = nn.Linear(128, 64)
layer = DoRALayer(
d_in=128, d_out=64, rank=8,
weight=base.weight.detach().clone(),
bias=base.bias.detach().clone(),
)
# DoRA 레이어는 처음에 원래 선형 레이어와 동일한 출력을 생성해야 합니다.
또한 모델의 모든 선형 레이어를 DoRA 레이어(기본 랭크 4)로 교체할 수도 있습니다:
model = nn.Sequential(nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 16))
replace_linear_with_dora(model)
실험 결과
README는 저랭크 인자(A 및 B)에 대한 다양한 초기화 전략을 비교한 대규모 감사 연구를 보고합니다. 이 연구는 SciFact, NFCorpus, ViGGO, Aircraft와 같은 작업에서 76개의 초기화기 제품군을 테스트했습니다. 주요 결과는 다음과 같습니다:
- 일부 초기화는 특정 작업에서 성능을 향상시킵니다(예: SciFact의 IniLoRA-alpha, NFCorpus의 Student-t, ViGGO의 Truncated normal, Aircraft의 LoRA-GA).
- 개선이 보편적이지는 않습니다 – 일부 작업에서는 유의미한 이득이 없으며, 일부 초기화기는 성능이 더 나빠지기도 합니다.
- 이 연구에는 새로운 시드 확인과 상세한 통계적 구간이 포함되어 있지만, 결과는 작업별로 다르며 일반적인 순위가 아닙니다.
예를 들어, SciFact에서 최고의 초기화(IniLoRA-alpha)는 nDCG@10 점수를 67.99에서 70.37로 향상시켰지만(새로운 시드에서), 신뢰 구간에 0이 포함되어 있어 통계적으로 확실한 개선은 아닙니다. Aircraft에서는 +6.62 포인트의 이득과 명확한 양의 구간이 나타났습니다.
README는 또한 별도의 웜 스타트 하위 연구와 LoRA-Null 및 GME 레시피를 사용한 확장을 기록하고 있으며, 대부분의 변형은 허용된 기준선을 능가하지 못했습니다.
요약
이 프로젝트는 정밀도 조정이 포함된 DoRA의 집중적인 구현이며, 초기화 방법에 대한 포괄적인 실증적 평가를 제공합니다. 즉시 사용 가능한 코드와 초기화 선택이 중요하다는 증거를 제공하지만, 최선의 방법은 작업에 따라 다릅니다. 이 저장소는 재현 가능한 실험과 감사로 잘 문서화되어 있습니다.
관련
- 프로젝트
- Dispatch
- Dispatch
- Dispatch
- 프로젝트