catid/dora
Implementation of DoRA
概述
本项目提供了 DoRA (Weight-Decomposed Low-Rank Adaptation) 的特定实现,这是一种用于高效微调大型神经网络的技术。代码基于原始实现,但包含一个关键更改:可训练的幅度值存储在 FP32(一种高精度浮点格式)中,而不是较低的精度。此更改旨在提高训练的稳定性和准确性。
该存储库包括:
- 一个自定义 PyTorch 层 (
DoRALayer),将 DoRA 应用于线性层。 - 一个辅助函数 (
replace_linear_with_dora),用于将模型中的标准线性层替换为 DoRA 层。 - 用于验证正确性的测试套件。
- 一项广泛的实验研究,比较了低秩因子的 76 种不同初始化方法,并提供了多项任务的详细结果。
DoRA 的工作原理
对于给定的权重矩阵 W(形状为 [out_features, in_features]),DoRA 计算出的自适应权重为:
V = W + A @ B
W_adapted = m * (V / column_norm(V))
A和B是在微调过程中学习到的低秩矩阵(即“适配器”)。m是每列的幅度向量(形状为[1, in_features]),在归一化后对V的每一列进行缩放。- 归一化将每一列除以其欧几里得范数,因此幅度由
m单独控制。
原始实现使用随机正态值初始化 A,并使用零初始化 B,因此初始自适应权重等于原始 W。本项目唯一的修改是 m 以 FP32 存储(而不是默认数据类型),以在训练期间保持精度。
使用方法
要使用此代码,请安装依赖项并运行主脚本或测试:
python -m pip install -r requirements.txt
python dora.py
python -m unittest -v test_dora
在 Python 中,您可以从现有的线性层创建 DoRA 层:
import torch
from torch import nn
from dora import DoRALayer, replace_linear_with_dora
base = nn.Linear(128, 64)
layer = DoRALayer(
d_in=128, d_out=64, rank=8,
weight=base.weight.detach().clone(),
bias=base.bias.detach().clone(),
)
# DoRA 层最初应产生与原始线性层相同的输出。
您还可以将模型中的所有线性层替换为 DoRA 层(默认秩为 4):
model = nn.Sequential(nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 16))
replace_linear_with_dora(model)
实验结果
README 报告了一项大型审计研究,比较了低秩因子 (A 和 B) 的不同初始化策略。该研究在 SciFact、NFCorpus、ViGGO 和 Aircraft 等任务上测试了 76 个初始化器系列。主要发现:
- 某些初始化在特定任务上提高了性能(例如 SciFact 上的 IniLoRA-alpha,NFCorpus 上的 Student-t,ViGGO 上的 Truncated normal,Aircraft 上的 LoRA-GA)。
- 改进并非普遍适用——某些任务没有显示出显著增益,而某些初始化器表现更差。
- 该研究包括新种子的确认和详细的统计区间,但结果是特定于任务的,并非通用的排名。
例如,在 SciFact 上,最佳初始化 (IniLoRA-alpha) 将 nDCG@10 分数从 67.99 提高到 70.37(在新种子上),但置信区间包含零,这意味着改进在统计上并不确定。在 Aircraft 上,增益为 +6.62 点,且具有明确的正区间。
README 还记录了一个单独的预热启动子研究,以及使用 LoRA-Null 和 GME 配方的扩展,其中大多数变体未能超过公认的基准。
总结
本项目是 DoRA 的专注实现,带有精度调整,并对初始化方法进行了全面的实证评估。它提供了现成的代码和证据,表明初始化选择很重要,但最佳方法取决于任务。该存储库文档齐全,包含可重复的实验和审计。
相关
- 项目
- Dispatch
- Dispatch
- Dispatch
- 项目