Dust: 역전파 없이 트랜스포머를 0차 사전학습하기

TL;DR

Dust는 트랜스포머 사전학습에서 역전파에 필적하는 최초의 0차 방법입니다. 토큰 단위로 활성화를 교란(가상 개체군)하여 단일 순방향 패스에서 수천 개의 후보를 평가하며, 개체군이 커질수록 역전파로 수렴하는 기울기 추정치를 얻고, 대규모 연산 환경에서는 역전파를 능가하기도 합니다.

1. Dust가 다르게 하는 점

활성화 공간 교란

Dust는 각 선형 레이어의 출력에 토큰별로 독립적인 가우시안 노이즈를 추가합니다. 따라서 각 토큰은 별도의 개체군 구성원으로 작동하여, 단일 순방향 패스로 시퀀스 길이 정도의 개체군 크기(수천 개)를 평가할 수 있습니다(가중치 공간 ES의 개체당 하나씩이 아님).
이 "가상 개체군"은 가중치 복사본을 구체화하지 않습니다. 교란은 활성화 공간에 존재하며, 이는 주어진 레이어의 전체 가중치 행렬보다 차원이 낮습니다.

역방향 패스 없는 신용 할당

선형 레이어 (y_t = Wx_t)에 대해 Dust는 각 토큰의 손실 감소와 선택적으로 할인된 미래 토큰(어텐션을 통해)을 기반으로 각 토큰에 대한 보상 (r_t)를 계산합니다. 보상 가중 노이즈 (\hat g_t = -\frac{1}{K\sigma}\sum_{i=1}^K r_t^{(i)} a_t^{(i)})는 추정된 출력 오류로 사용됩니다.
가중치 기울기 추정치는 (\hat g_t)와 캐시된 입력 (x_t)의 외적입니다: [\hat G_W = \sum_t \hat g_t x_t^{\top}]
어텐션 내부도 유사하게 처리되지만, 보상은 토큰별 손실에서 직접 파생되는 것이 아니라 어텐션 출력의 변화에서 파생되어 간섭을 줄입니다.

간섭 줄이기

레이어별 패스 – 서로 다른 레이어 유형은 각각 고유한 노이즈 스케일로 별도의 순방향 패스에서 지터링됩니다.
어텐션 전용 지터 – 지터에 대해 어텐션 출력만 다시 계산하고 나머지 네트워크는 캐시합니다.
헤드 전용 교란 – 언어 모델 헤드는 캐시된 로짓에서 지터링되어 각 추출에서 어휘의 작은 조각을 평가합니다.

이러한 기법 덕분에 추출 비용은 깨끗한 순방향 패스보다 약간만 높으며, 업데이트당 (10^3)–(10^4)개의 추출 개체군을 허용합니다.

2. 실증적 발견

사전학습 결과 (SGD 모멘텀)

토큰 예산	개체군 (추출)	테스트 손실 (Dust)	테스트 손실 (역전파)	테스트 손실 (EGGROLL)
100k	64-1k	역전파보다 낮음	–	–
1M	1k-16k	역전파에 근접, 격차 < 0.02	–	–
10M	4k-16k	역전파보다 약간 높음, 하향 추세	–	–
20M	16k	외삽에 따르면 Dust가 역전파를 밑돌 수 있음 (한계 ≈ 4.43 vs 역전파 4.63)	–	–

*Dust는 일관되게 역전파 손실의 수백 분의 일 이내에 머물며, 가장 큰 개체군에서 적합된 멱법칙 한계는 역전파 아래에 있습니다.*

가중치 공간 ES (EGGROLL)와 비교

10³–10⁴× 더 큰 개체군을 사용하더라도 EGGROLL은 모든 토큰 예산에서 Dust보다 0.02–0.6 손실 단위 뒤처집니다.
외삽에 따르면 EGGROLL이 Dust의 가장 작은 개체군 성능에 맞추려면 10³–10⁴ 배의 개체군이 필요할 것입니다.

모델 크기에 따른 확장

파라미터	개체군 64	256	1k	4k	16k
2M	5.705	5.486	5.265	5.189	5.171
7M	5.556	5.362	5.161	5.095	5.065
38M	5.558	5.358	5.158	5.053	5.036
243M	5.719	5.419	5.214	5.124	5.086

더 큰 모델은 개체군 효율성이 더 높습니다: 243M 파라미터 모델은 가장 작은 개체군에서도 2M 모델을 능가하며, 작은 모델이 정체되는 지점에서도 계속 개선됩니다.

기울기 정렬

Dust의 추정 기울기는 개체군이 증가함에 따라 실제 역전파 기울기와 점점 더 정렬됩니다. 코사인 유사도는 다음을 따릅니다: [\cos(K) = \frac{c_{\text{max}}}{\sqrt{1 + c/K}}]

레이어 전체에 걸친 피팅은 RMSE < 0.06을 달성합니다.
개체군 ≥ 16k에서 코사인 값은 대부분의 레이어에서 0.9를 초과하여 거의 동일한 방향성을 나타냅니다.
대조적으로 EGGROLL의 코사인은 128k 추출에서도 < 0.05로 유지되어 훈련 성능이 낮은 이유를 설명합니다.

3. Hacker News 커뮤니티 반응

댓글 작성자	주요 통찰 / 비판
blt	미분 없는 방법이 역사적으로 실제 적용에 실패했다고 경고하며, 기울기가 매끄러운 목적 함수에 필수적이라고 주장하고 최근 복잡성 격차 증명을 인용합니다.
syntacticsalt	"Bitter Lesson" 프레임에 의문을 제기하며, 0차 방법이 본질적으로 비볼록성을 해결하지 못하며 논문에 볼록성 가정에 대한 논의가 부족하다고 지적합니다.
eriwang915	243M 파라미터 Dust 모델이 대부분의 개체군 크기에서 120배 더 작은 모델을 능가하는 놀라운 결과를 강조합니다.
polyomino	하이브리드 파이프라인을 제안합니다: 역전파로 훈련된 체크포인트를 Dust로 미세 조정하여 후기 훈련 단계가 검색 기반 신용 할당의 이점을 얻는지 탐구합니다.
soltanov	실제 실행 시간, 에너지, 메모리 측정을 요구하며, Dust가 역전파를 대체하려면 현재 효율성 격차가 좁혀져야 한다고 지적합니다.
mkaic	0차 방법은 보편적인 대체재보다는 기울기를 사용할 수 없는 곳(예: 시뮬레이터 기반 훈련)에서 가치가 있을 수 있다고 지적합니다.
usernametaken29	Dust와 역전파 모두 동일한 경험적 위험 최소화 경계에 있지만, Dust는 역전파를 방해하는 헤시안 조건화 한계를 우회할 수 있다고 주장합니다.
api	Dust는 업데이트당 계산 효율성이 낮지만 병렬화가 매우 용이하여 대규모 하드웨어에서 유리할 수 있다고 관찰합니다.

4. Dust가 중요한 이유

검색 기반 신용 할당의 개념 증명 – 순수 순방향 전용 알고리즘이 대규모 언어 모델에 사용 가능한 기울기를 생성할 수 있음을 입증하여, 0차 방법이 확장될 수 없다는 오랜 믿음에 도전합니다.
연산 집약적 환경에서 역전파를 능가할 가능성 – 매우 큰 개체군에서 Dust의 손실 곡선은 역전파 아래로 외삽되어, 충분한 계산이 주어지면 연쇄 법칙 기울기보다 더 나은 하강 방향을 찾을 수 있음을 시사합니다.
비미분 아키텍처 훈련 가능 – Dust는 해석적 기울기를 요구하지 않으므로, 미분이 어려운 이산 시뮬레이터, 외부 프로그램 또는 순환 루프를 통합하는 모델에 대한 문을 엽니다.
아키텍처 통찰: 과매개변수화의 이점 – 더 큰 모델이 더 나은 개체군 효율성을 보여, 고차원 활성화 공간의 기하학이 검색 기반 최적화에 이전에 생각했던 것보다 더 유리할 수 있음을 암시합니다.

5. 열린 질문과 향후 방향

효율성 격차 – Dust는 현재 역전파보다 수십 배 더 많은 FLOPs를 요구합니다. 실용화를 위한 엔지니어링 발전(예: 특수 하드웨어, 더 스마트한 개체군 할당)이 필요합니다.
하이브리드 훈련 방식 – 역전파 사전학습과 Dust 미세 조정을 결합하면 두 접근 방식의 강점을 활용할 수 있습니다.
고차원 경관 탐색 – Dust가 (1차 이상의) 곡률 정보를 암시적으로 포착하는지 이해하면 때때로 우월한 이유를 설명할 수 있습니다.
더 넓은 적용 가능성 – 기울기를 사용할 수 없는 작업(시뮬레이터를 사용한 강화 학습, 뉴로모픽 하드웨어)에 Dust를 적용하면 일반성을 테스트할 수 있습니다.
이론적 기초 – 특히 비볼록 환경에서 개체군 크기와 기울기 정렬 간의 절충에 대한 공식 분석이 실증적 관찰을 견고하게 할 것입니다.

6. 결론

Dust는 0차 활성화 교란이 트랜스포머 언어 모델을 역전파와 비슷한 수준으로 훈련할 수 있음을 보여주며, 더 큰 모델은 샘플 효율성이 더 높아집니다. 이 방법은 계산 요구로 인해 일상적인 실무에서 역전파를 대체하기에는 아직 멀었지만, 검색 기반 신용 할당이 확장될 수 있다는 설득력 있는 개념 증명을 제공하여 비미분 아키텍처와 연산 집약적 최적화 환경을 위한 새로운 연구 방향을 엽니다.