catid/dora

Implementation of DoRA

概要

このプロジェクトは、大規模ニューラルネットワークを効率的に微調整するための手法である DoRA (Weight-Decomposed Low-Rank Adaptation) の特定の実装を提供します。コードはオリジナルの実装に基づいていますが、1 つの重要な変更が含まれています。学習可能なマグニチュード値が、低精度ではなく FP32(高精度浮動小数点形式)で保存されます。この変更は、学習の安定性や精度を向上させることを目的としています。

このリポジトリには以下が含まれます:

  • 線形層に DoRA を適用するカスタム PyTorch レイヤー (DoRALayer)。
  • モデル内の標準的な線形層を DoRA レイヤーに置き換えるヘルパー関数 (replace_linear_with_dora)。
  • 正当性を検証するテストスイート。
  • 低ランク因子の 76 種類の異なる初期化手法を比較した広範な実験研究。複数のタスクにおける詳細な結果が含まれています。

DoRA の仕組み

重み行列 W (形状 [out_features, in_features]) に対して、DoRA は適応後の重みを次のように計算します:

V = W + A @ B
W_adapted = m * (V / column_norm(V))
  • A と B は、微調整中に学習される低ランク行列(「アダプター」)です。
  • m は列ごとのマグニチュードベクトル (形状 [1, in_features]) で、正規化後の V の各列をスケーリングします。
  • 正規化は各列をそのユークリッドノルムで割るため、マグニチュードは m によって個別に制御されます。

オリジナルの実装では A をランダムな正規分布値で、B をゼロで初期化するため、初期の適応後の重みは元の W と等しくなります。このプロジェクトでの唯一の変更点は、学習中の精度を維持するために m を FP32 で保存する点です。

使用方法

コードを使用するには、依存関係をインストールし、メインスクリプトまたはテストを実行します:

python -m pip install -r requirements.txt
python dora.py
python -m unittest -v test_dora

Python では、既存の線形層から DoRA レイヤーを作成できます:

import torch
from torch import nn
from dora import DoRALayer, replace_linear_with_dora

base = nn.Linear(128, 64)
layer = DoRALayer(
    d_in=128, d_out=64, rank=8,
    weight=base.weight.detach().clone(),
    bias=base.bias.detach().clone(),
)
# DoRA レイヤーは、最初は元の線形層と同じ出力を生成するはずです。

また、モデル内のすべての線形層を DoRA レイヤー(デフォルトのランクは 4)に置き換えることもできます:

model = nn.Sequential(nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 16))
replace_linear_with_dora(model)

実験結果

README では、低ランク因子 (A および B) の異なる初期化戦略を比較した大規模な監査研究が報告されています。この研究では、SciFact、NFCorpus、ViGGO、Aircraft などのタスクで 76 種類の初期化手法をテストしました。主な発見は以下の通りです:

  • 特定のタスクでパフォーマンスを向上させる初期化手法がある(例:SciFact での IniLoRA-alpha、NFCorpus での Student-t、ViGGO での Truncated normal、Aircraft での LoRA-GA)。
  • 改善は普遍的ではない。一部のタスクでは有意な向上が見られず、一部の初期化手法ではパフォーマンスが低下しました。
  • 研究には新しいシードによる確認と詳細な統計的区間が含まれていますが、結果はタスク固有のものであり、一般的なランキングではありません。

例えば、SciFact では、最良の初期化手法 (IniLoRA-alpha) により nDCG@10 スコアが 67.99 から 70.37 に向上しましたが(新しいシードで)、信頼区間にゼロが含まれているため、統計的に確実な改善とは言えません。Aircraft では、+6.62 ポイントの向上と明確な正の区間が見られました。

README には、個別のウォームスタートのサブスタディや、LoRA-Null および GME レシピによる拡張も記録されていますが、ほとんどのバリエーションは受け入れられたベースラインを上回りませんでした。

まとめ

このプロジェクトは、精度調整を加えた DoRA の集中的な実装であり、初期化手法の包括的な実証評価を提供します。すぐに使えるコードと、初期化の選択が重要であるという証拠を提供しますが、最適な手法はタスクに依存します。リポジトリは、再現可能な実験と監査によって十分に文書化されています。

関連

  • プロジェクト
  • Dispatch
  • Dispatch
  • Dispatch
  • プロジェクト