선형 계획법이 Qwen3.5-0.8B에 대한 Astra의 가중치 공간 편집을 재현할 수 있다
핵심 요점
선형 계획법(LP)은 Astra의 시행착오 탐색을 대체하여 소형 언어 모델의 가중치를 편집할 수 있으며, 반복 루프 동작을 제거하고 원래 가중치 변경의 약 1%만으로 수학 성능을 향상시킵니다.
배경: 가중치 공간 프로그래밍
MIT CSAIL의 Sparks of Weight-Space Programming은 강력한 LLM(GPT-6 Astra)이 다음을 수행할 수 있음을 보여주었습니다:
- 원시 가중치를 검사하여 작은 네트워크가 훈련된 게임을 식별.
- PPO로 훈련된 기준선을 능가하는 새 네트워크의 가중치를 합성.
- 0.8B 매개변수 모델(Qwen3.5-0.8B)을 편집하여 가중치의 **0.016%**만 변경하고 MATH-500 정확도를 **7.9%**에서 **48.1%**로 향상.
이 편집은 기본 모델 답변의 93%가 32k 토큰 제한에 도달하게 만든 반복적인 토큰 생성인 "생각 루프"를 대상으로 했습니다.
원래 편집이 작동한 방식
루프 방향 벡터 (u)
Astra는 쌍을 이룬 텍스트(생산적 vs. 루프)를 생성하고 선택된 레이어의 각 토큰에 대한 잔차 스트림 벡터를 기록했습니다. 평균 루프 벡터와 생산적 벡터 간의 정규화된 차이는 루프 중 잔차 스트림이 표류하는 방향인 (u)를 정의합니다.
Rank-1 가중치 수정
각 MLP의 출력 행렬 (W)(형태 (1024\times 3584))는 잔차 스트림에 (W h = \sum_j h_j w_j)로 기여합니다. Astra는 각 열 (w_j)를 (u)에 투영하고 배수를 뺐습니다:
w_j ← w_j - α (uᵀ w_j) u
(α=1)로 설정하면 (u) 구성 요소가 제거되고, (α=6)은 이를 뒤집어 모델이 루프에서 멀어지게 합니다. 전체 변경은 rank-1 행렬 (ΔW = u vᵀ)이며, 여기서 (v_j = -α (uᵀ w_j))입니다.
Astra는 많은 (α)와 열 선택 전략을 시행착오로 탐색했으며, 결국 레이어 15와 19에서 가장 큰 (|uᵀ w_j|)를 가진 64개 열을 편집했습니다(α=6). 이를 위해 약 8시간의 순방향 패스가 필요했습니다.
탐색을 선형 계획법으로 재구성
토큰 (t)에서 잔차 스트림에 추가된 푸시는 (v·h_t)이며, (v)에 대해 선형입니다. 루프 토큰을 (u)에서 멀리 유지하면서 생산적 토큰은 그대로 두기 위해 선형 제약 조건을 부과할 수 있습니다:
for t in R (looping): v·h_t ≤ -δ
for t in P (productive): |v·h_t| ≤ ε
목적 함수는 L1 노름 (∑|v_j|)을 최소화하여 희소성을 장려합니다. 슬랙 변수는 실행 불가능한 제약 조건을 처리합니다.
이 LP를 풀면 희소한 (v)가 생성되어 편집할 열과 적절한 스케일링 계수를 자동으로 선택하므로 철저한 시행착오가 필요 없습니다.
실증 결과
두 가지 LP 기반 편집이 보류된 벤치마크(튜닝 데이터 없음)에서 평가되었습니다:
| 편집 | 변경된 가중치 | GSM8K | MATH-500 | IFEval |
|---|---|---|---|---|
| 기본 모델 | 0 | 14.1 | 7.0 | 22.9 |
| Astra의 편집 | 130,188 | 68.2 | 50.9 | 61.9 |
| LP, Astra의 방향 | 16,291 | 69.6 | 51.7 | 59.7 |
| LP, 휴리스틱 방향* | 16,271 | 65.4 | 47.8 | 60.4 |
*휴리스틱 방향 = 자동 감지된 루프 토큰과 생산적 토큰 간의 평균 잔차 스트림 차이(LLM 없음).
주요 관찰
- Astra의 (u)를 사용한 LP는 모든 지표에서 Astra의 편집과 일치하거나 약간 초과하면서 8배 적은 가중치를 편집합니다.
- 간단한 휴리스틱 방향은 이득의 약 93%를 달성하여 LP 프레임워크가 LLM 생성 (u) 없이도 작동함을 보여줍니다.
- LP는 다른 열 집합(레이어당 8개만)을 선택하지만 (u)를 따라 동일한 전체 푸시를 달성합니다.
- 무작위 방향은 개선을 생성하지 않아 선형 제약 조건이 필수적임을 확인합니다.
스티어링 벡터를 대체 전달 메커니즘으로 사용
LP 선택 열은 토큰의 약 89%에서 활성화되므로 결과 편집은 (u)를 따른 일정한 푸시처럼 거의 동작합니다. 이 상수를 추론 시 잔차 스트림에 직접 추가하면(스티어링 벡터) 대부분의 이점이 재현됩니다:
| 스티어링 강도 | 개발 세트 정확도 |
|---|---|
| 0.5× | 51.6 |
| 1× | 57.8 |
| 2× | 31.2 |
1× 강도에서 스티어링 벡터는 전체 수정을 복구합니다. 약한 푸시는 루프가 돌아오게 하고, 강한 푸시는 추론을 방해합니다.
절충점: 스티어링 벡터는 추가 추론 시간 코드가 필요하지만, LP 편집은 정적 체크포인트입니다.
한계 및 향후 작업
- 모델 범위: 실험은 Qwen3.5-0.8B로 제한됩니다. 다른 아키텍처는 다른 레이어나 방향이 필요할 수 있습니다.
- 방향 발견: 현재 최상의 결과는 여전히 Astra의 (u)에 의존합니다. (u) 추출 자동화(예: 비지도 잔차 스트림 분석)는 여전히 열린 문제입니다.
- 제약 조건 관련성: 루프의 경우 일정한 푸시로 충분했으므로 토큰별 제약 조건의 영향은 제한적이었습니다. 더 미묘한 동작(예: 선택적 거부)은 LP의 세밀한 제어를 더 잘 테스트할 것입니다.
- 더 넓은 동작: 동일한 LP 공식은 다른 조종 가능한 방향(거부, 아첨 등)을 대상으로 할 수 있지만 실증 검증은 아직입니다.
커뮤니티 통찰
"LP 솔버가 가중치 편집에 유용한 도구라면, Astra가 이 방법론에 접근할 수 있다면 가중치 편집에 더 효과적일 수 있습니다... 솔버는 시간 소모적인 시행착오를 줄이고 의도를 더 즉각적으로 표현합니다." – jsw97, Hacker News 댓글
"우리는 LLM에 너무 집착하여 차선의 솔루션에 정착했습니다. LP와 같은 고전적 수치 분석은 더 나은 더 빠른 수정을 제공할 수 있습니다." – rbnafo, Hacker News 댓글
이 댓글들은 논문의 핵심 주장을 반영합니다: 고전적 최적화는 가중치 공간 개입을 위한 비용이 많이 드는 LLM 기반 탐색을 대체할 수 있습니다.
재현성
모든 코드, 가중치 편집 및 전체 문서는 저자의 GitHub 저장소에서 확인할 수 있습니다: https://github.com/nathanrs/weight-space-lp.
인용
Barry, Nathan. "Can a Linear Program Do Weight-Space Programming?"
nathan.rs (Nov 2026). https://nathan.rs/posts/weight-space-lp.
Sources
관련
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch