catid/dora

Implementation of DoRA

개요

이 프로젝트는 대규모 신경망을 효율적으로 미세 조정하기 위한 기술인 DoRA(Weight-Decomposed Low-Rank Adaptation)의 특정 구현을 제공합니다. 코드는 원본 구현을 기반으로 하지만 한 가지 주요 변경 사항이 포함되어 있습니다. 학습 가능한 크기(magnitude) 값이 낮은 정밀도가 아닌 FP32(고정밀 부동 소수점 형식)로 저장됩니다. 이 변경은 학습 안정성이나 정확도를 향상시키기 위한 것입니다.

이 저장소에는 다음이 포함됩니다:

  • 선형 레이어에 DoRA를 적용하는 사용자 정의 PyTorch 레이어(DoRALayer).
  • 모델의 표준 선형 레이어를 DoRA 레이어로 교체하는 헬퍼 함수(replace_linear_with_dora).
  • 정확성을 검증하는 테스트 제품군.
  • 저랭크 인자에 대한 76가지의 서로 다른 초기화 방법을 비교한 광범위한 실험 연구와 여러 작업에 대한 상세 결과.

DoRA 작동 방식

주어진 가중치 행렬 W(형태 [out_features, in_features])에 대해 DoRA는 다음과 같이 적응된 가중치를 계산합니다:

V = W + A @ B
W_adapted = m * (V / column_norm(V))
  • A와 B는 미세 조정 중에 학습되는 저랭크 행렬(어댑터)입니다.
  • m은 열별 크기 벡터(형태 [1, in_features])로, 정규화 후 V의 각 열을 스케일링합니다.
  • 정규화는 각 열을 유클리드 노름으로 나누므로 크기는 m에 의해 별도로 제어됩니다.

원본 구현은 A를 무작위 정규값으로, B를 0으로 초기화하므로 초기 적응 가중치는 원래의 W와 같습니다. 이 프로젝트의 유일한 수정 사항은 학습 중 정밀도를 유지하기 위해 m을 FP32로 저장한다는 점입니다.

사용법

코드를 사용하려면 종속성을 설치하고 메인 스크립트나 테스트를 실행하십시오:

python -m pip install -r requirements.txt
python dora.py
python -m unittest -v test_dora

Python에서는 기존 선형 레이어에서 DoRA 레이어를 생성할 수 있습니다:

import torch
from torch import nn
from dora import DoRALayer, replace_linear_with_dora

base = nn.Linear(128, 64)
layer = DoRALayer(
    d_in=128, d_out=64, rank=8,
    weight=base.weight.detach().clone(),
    bias=base.bias.detach().clone(),
)
# DoRA 레이어는 처음에 원래 선형 레이어와 동일한 출력을 생성해야 합니다.

또한 모델의 모든 선형 레이어를 DoRA 레이어(기본 랭크 4)로 교체할 수도 있습니다:

model = nn.Sequential(nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 16))
replace_linear_with_dora(model)

실험 결과

README는 저랭크 인자(A 및 B)에 대한 다양한 초기화 전략을 비교한 대규모 감사 연구를 보고합니다. 이 연구는 SciFact, NFCorpus, ViGGO, Aircraft와 같은 작업에서 76개의 초기화기 제품군을 테스트했습니다. 주요 결과는 다음과 같습니다:

  • 일부 초기화는 특정 작업에서 성능을 향상시킵니다(예: SciFact의 IniLoRA-alpha, NFCorpus의 Student-t, ViGGO의 Truncated normal, Aircraft의 LoRA-GA).
  • 개선이 보편적이지는 않습니다 – 일부 작업에서는 유의미한 이득이 없으며, 일부 초기화기는 성능이 더 나빠지기도 합니다.
  • 이 연구에는 새로운 시드 확인과 상세한 통계적 구간이 포함되어 있지만, 결과는 작업별로 다르며 일반적인 순위가 아닙니다.

예를 들어, SciFact에서 최고의 초기화(IniLoRA-alpha)는 nDCG@10 점수를 67.99에서 70.37로 향상시켰지만(새로운 시드에서), 신뢰 구간에 0이 포함되어 있어 통계적으로 확실한 개선은 아닙니다. Aircraft에서는 +6.62 포인트의 이득과 명확한 양의 구간이 나타났습니다.

README는 또한 별도의 웜 스타트 하위 연구와 LoRA-Null 및 GME 레시피를 사용한 확장을 기록하고 있으며, 대부분의 변형은 허용된 기준선을 능가하지 못했습니다.

요약

이 프로젝트는 정밀도 조정이 포함된 DoRA의 집중적인 구현이며, 초기화 방법에 대한 포괄적인 실증적 평가를 제공합니다. 즉시 사용 가능한 코드와 초기화 선택이 중요하다는 증거를 제공하지만, 최선의 방법은 작업에 따라 다릅니다. 이 저장소는 재현 가능한 실험과 감사로 잘 문서화되어 있습니다.

관련

  • 프로젝트
  • Dispatch
  • Dispatch
  • Dispatch
  • 프로젝트