catid/dora

Implementation of DoRA

概述

本项目提供了 DoRA (Weight-Decomposed Low-Rank Adaptation) 的特定实现,这是一种用于高效微调大型神经网络的技术。代码基于原始实现,但包含一个关键更改:可训练的幅度值存储在 FP32(一种高精度浮点格式)中,而不是较低的精度。此更改旨在提高训练的稳定性和准确性。

该存储库包括:

  • 一个自定义 PyTorch 层 (DoRALayer),将 DoRA 应用于线性层。
  • 一个辅助函数 (replace_linear_with_dora),用于将模型中的标准线性层替换为 DoRA 层。
  • 用于验证正确性的测试套件。
  • 一项广泛的实验研究,比较了低秩因子的 76 种不同初始化方法,并提供了多项任务的详细结果。

DoRA 的工作原理

对于给定的权重矩阵 W(形状为 [out_features, in_features]),DoRA 计算出的自适应权重为:

V = W + A @ B
W_adapted = m * (V / column_norm(V))
  • A 和 B 是在微调过程中学习到的低秩矩阵(即“适配器”)。
  • m 是每列的幅度向量(形状为 [1, in_features]),在归一化后对 V 的每一列进行缩放。
  • 归一化将每一列除以其欧几里得范数,因此幅度由 m 单独控制。

原始实现使用随机正态值初始化 A,并使用零初始化 B,因此初始自适应权重等于原始 W。本项目唯一的修改是 m 以 FP32 存储(而不是默认数据类型),以在训练期间保持精度。

使用方法

要使用此代码,请安装依赖项并运行主脚本或测试:

python -m pip install -r requirements.txt
python dora.py
python -m unittest -v test_dora

在 Python 中,您可以从现有的线性层创建 DoRA 层:

import torch
from torch import nn
from dora import DoRALayer, replace_linear_with_dora

base = nn.Linear(128, 64)
layer = DoRALayer(
    d_in=128, d_out=64, rank=8,
    weight=base.weight.detach().clone(),
    bias=base.bias.detach().clone(),
)
# DoRA 层最初应产生与原始线性层相同的输出。

您还可以将模型中的所有线性层替换为 DoRA 层(默认秩为 4):

model = nn.Sequential(nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 16))
replace_linear_with_dora(model)

实验结果

README 报告了一项大型审计研究,比较了低秩因子 (A 和 B) 的不同初始化策略。该研究在 SciFact、NFCorpus、ViGGO 和 Aircraft 等任务上测试了 76 个初始化器系列。主要发现:

  • 某些初始化在特定任务上提高了性能(例如 SciFact 上的 IniLoRA-alpha,NFCorpus 上的 Student-t,ViGGO 上的 Truncated normal,Aircraft 上的 LoRA-GA)。
  • 改进并非普遍适用——某些任务没有显示出显著增益,而某些初始化器表现更差。
  • 该研究包括新种子的确认和详细的统计区间,但结果是特定于任务的,并非通用的排名。

例如,在 SciFact 上,最佳初始化 (IniLoRA-alpha) 将 nDCG@10 分数从 67.99 提高到 70.37(在新种子上),但置信区间包含零,这意味着改进在统计上并不确定。在 Aircraft 上,增益为 +6.62 点,且具有明确的正区间。

README 还记录了一个单独的预热启动子研究,以及使用 LoRA-Null 和 GME 配方的扩展,其中大多数变体未能超过公认的基准。

总结

本项目是 DoRA 的专注实现,带有精度调整,并对初始化方法进行了全面的实证评估。它提供了现成的代码和证据,表明初始化选择很重要,但最佳方法取决于任务。该存储库文档齐全,包含可重复的实验和审计。

相关

  • 项目
  • Dispatch
  • Dispatch
  • Dispatch
  • 项目