Dust: バックプロパゲーションなしのTransformerのゼロ次事前学習

TL;DR

Dustは、Transformerの事前学習においてバックプロパゲーションに匹敵する初のゼロ次手法です。アクティベーションをトークン単位で摂動させる（仮想集団）ことで、単一のフォワードパスで数千の候補を評価し、集団が成長するにつれてバックプロップの勾配推定に収束し、大規模計算領域ではバックプロップを上回ることさえあります。

1. Dustが異なる点

アクティベーション空間での摂動

Dustは各線形層の出力に、トークンごとに独立したガウスノイズを追加します。したがって、各トークンが独立した集団メンバーとして機能し、単一のフォワードパスでシーケンス長程度の集団サイズ（数千メンバー）を評価できます。これは、重み空間のESメンバーごとに1つではなく、です。
この「仮想集団」により、重みのコピーを実体化する必要がありません。摂動はアクティベーション空間に存在し、これは特定の層の完全な重み行列よりも低次元です。

バックワードパスなしのクレジット割り当て

線形層 (y_t = Wx_t) の場合、Dustは各トークンの損失削減に基づいて報酬 (r_t) を計算し、オプションで（アテンションを介して）割引された将来トークンも考慮します。報酬重み付きノイズ (\hat g_t = -\frac{1}{K\sigma}\sum_{i=1}^K r_t^{(i)} a_t^{(i)}) は、推定された出力誤差として機能します。
重み勾配の推定値は、(\hat g_t) とキャッシュされた入力 (x_t) の外積です： [\hat G_W = \sum_t \hat g_t x_t^{\top}]
アテンション内部も同様に扱われますが、その報酬はトークン単位の損失から直接ではなく、アテンション出力の変化から導出され、干渉を減らします。

干渉の低減

層ごとのパス – 異なる層タイプは、それぞれ独自のノイズスケールで別々のフォワードパスでジッターされます。
アテンション固有のジッター – ジッターのためにアテンション出力のみが再計算され、ネットワークの残りはキャッシュされます。
ヘッドのみの摂動 – 言語モデルのヘッドはキャッシュされたロジットでジッターされ、ドローごとに語彙のごく一部を評価します。

これらのトリックにより、ドローのコストはクリーンなフォワードパスよりもわずかに高いだけであり、更新ごとに (10^3)–(10^4) ドローの集団サイズが可能になります。

2. 実証的発見

事前学習結果（SGDモメンタム）

トークン予算	集団（ドロー）	テスト損失（Dust）	テスト損失（バックプロップ）	テスト損失（EGGROLL）
100k	64‑1k	バックプロップ未満	–	–
1M	1k‑16k	バックプロップに接近、ギャップ < 0.02	–	–
10M	4k‑16k	バックプロップよりわずかに上、下降傾向	–	–
20M	16k	外挿ではDustがバックプロップを下回る可能性（限界 ≈ 4.43 vs バックプロップ 4.63）	–	–

Dustは一貫してバックプロップの損失の数百分の一以内に留まり、最大の集団では、フィッティングされたべき乗則の限界はバックプロップを*下回ります。*

重み空間ES（EGGROLL）との比較

10³–10⁴倍大きい集団でも、EGGROLLはすべてのトークン予算でDustより0.02–0.6損失単位遅れをとります。
外挿によると、EGGROLLがDustの最小集団パフォーマンスに匹敵するには、10³–10⁴倍の集団が必要です。

モデルサイズによるスケーリング

パラメータ	集団64	256	1k	4k	16k
2M	5.705	5.486	5.265	5.189	5.171
7M	5.556	5.362	5.161	5.095	5.065
38M	5.558	5.358	5.158	5.053	5.036
243M	5.719	5.419	5.214	5.124	5.086

大規模モデルはより集団効率的です：243Mパラメータのモデルは、最小の集団でも2Mモデルを上回り、小さなモデルが頭打ちになる場所でも改善し続けます。

勾配の整合性

Dustの推定勾配は、集団が増えるにつれて真のバックプロップ勾配とますます整合します。コサイン類似度は次の式に従います： [\cos(K) = \frac{c_{\text{max}}}{\sqrt{1 + c/K}}]

層全体でのフィッティングはRMSE < 0.06を達成。
集団≥16kでは、ほとんどの層でコサイン値が0.9を超え、ほぼ同一の方向性を示します。
対照的に、EGGROLLのコサインは128kドローでも<0.05のままであり、その貧弱なトレーニングパフォーマンスを説明しています。

3. Hacker Newsでのコミュニティの反応

コメンター	主な洞察/批判
blt	微分フリーの手法は歴史的に実践に影響を与えてこなかったと警告し、勾配は滑らかな目的関数には不可欠であり、最近の複雑性ギャップの証明を引用しています。
syntacticsalt	「Bitter Lesson」の枠組みに疑問を呈し、ゼロ次手法は本質的に非凸性を解決するものではなく、論文には凸性の仮定に関する議論が欠けていると指摘。
eriwang915	243MパラメータのDustモデルが、ほとんどの集団サイズで120倍小さいモデルを上回るという驚くべき結果を強調。
polyomino	ハイブリッドパイプラインを提案：バックプロップでトレーニングされたチェックポイントをDustでファインチューニングし、後期のトレーニング段階が検索ベースのクレジット割り当ての恩恵を受けるかどうかを調査。
soltanov	実用的な実現可能性を評価するために、ウォールクロック時間、エネルギー、メモリの測定を要求。現在の効率ギャップが埋まるまではDustがバックプロップを置き換えることはできないと指摘。
mkaic	ゼロ次手法は、勾配が利用できない場合（例：シミュレータベースのトレーニング）に価値がある可能性があり、普遍的な代替手段ではないと指摘。
usernametaken29	Dustとバックプロップはどちらも同じ経験リスク最小化のフロンティア上にあるが、Dustはバックプロップを妨げるヘッセ行列の条件付けの限界を回避できる可能性があると主張。
api	Dustは更新あたりの計算効率は低いが、並列化が非常に容易であり、大規模なハードウェアでは有利になる可能性があると観察。

4. Dustが重要な理由

検索ベースのクレジット割り当ての概念実証 – 純粋なフォワードのみのアルゴリズムが大規模言語モデルに使用可能な勾配を生成できることを実証し、ゼロ次手法はスケールできないという長年の信念に挑戦。
計算豊富な領域でバックプロップを超える可能性 – 非常に大きな集団では、Dustの損失曲線はバックプロップを下回ると外挿され、十分な計算量があれば、連鎖律の勾配よりも優れた降下方向を見つけることができることを示唆。
非微分可能なアーキテクチャのトレーニングを可能にする – Dustは解析的な勾配を必要としないため、微分が難しい離散シミュレータ、外部プログラム、リカレントループを組み込んだモデルへの道を開きます。
アーキテクチャ的洞察：過剰パラメータ化の利点 – 大規模モデルはより優れた集団効率を示し、高次元のアクティベーション空間の幾何学が、これまで考えられていたよりも検索ベースの最適化に有利である可能性を示唆。

5. 未解決の質問と将来の方向性

効率ギャップ – Dustは現在、バックプロップよりも桁違いに多くのFLOPsを必要とします。実用的にするには、エンジニアリングの進歩（例：専用ハードウェア、よりスマートな集団割り当て）が必要です。
ハイブリッドトレーニング体制 – バックプロップ事前学習とDustファインチューニングを組み合わせることで、両方のアプローチの強みを活用できる可能性があります。
高次ランドスケープ探索 – Dustが（一次を超えて）暗黙的に曲率情報を捉えているかどうかを理解することで、その時々の優位性を説明できる可能性があります。
より広い適用可能性 – 勾配が利用できないタスク（シミュレータを用いた強化学習、ニューロモーフィックハードウェア）にDustを適用することで、その一般性をテストできます。
理論的基礎 – 特に非凸設定における、集団サイズと勾配整合性のトレードオフの正式な分析は、経験的観察を強化するでしょう。

6. 結論

Dustは、ゼロ次のアクティベーション摂動がTransformer言語モデルをバックプロパゲーションに匹敵するレベルでトレーニングでき、大規模モデルではさらにサンプル効率が向上することを示しています。この手法は、計算需要のために日常的な実践でバックプロップを置き換えるにはほど遠いものの、検索ベースのクレジット割り当てがスケールできるという説得力のある概念実証を提供し、非微分可能なアーキテクチャと計算豊富な最適化レジームのための新しい研究の道を開きます。