Weight-Space Programming: Astra Reads and Writes Neural Network Weights

TL;DR

Astra(GPT‑6)는 신경망 가중치를 읽어 동작을 추론하고, PPO로 훈련된 에이전트보다 우수한 성능을 내는 새 가중치를 쓰며, 기존 모델(예: Qwen3.5‑0.8B)을 편집하여 수학 성능을 극적으로 향상시킬 수 있습니다—경사 하강법이나 외부 도구 없이 말이죠. 이러한 능력을 Weight‑Space Programming이라고 합니다.

Weight‑Space Programming이란?

Weight‑Space Programming(WSP)은 범용 LLM을 사용하여 모델의 가중치 텐서를 직접 읽고 쓰는 방식으로, 자연어 사양에 의해서만 안내됩니다. 전통적인 최적화 기법(Adam, PPO)이나 학습된 가중치 생성기와 달리, WSP는 훈련 루프를 실행하지 않습니다. LLM은 각 가중치가 계산해야 할 함수를 추론하고 그에 따라 텐서를 편집합니다.

주요 속성:

제로샷 읽기: LLM은 원시 가중치 값을 텍스트로 받아 네트워크의 작업을 예측합니다.
제로샷 쓰기: 작업 설명과 아키텍처가 주어지면 LLM은 작업을 구현하는 전체 가중치 행렬을 생성합니다.
표적 편집: LLM은 문제가 되는 하위 방향(예: 루프 동작)을 식별하고 매개변수의 극히 일부만 수정합니다.

가중치 읽기: 숫자에서 네트워크 이해하기

실험 1 – 게임 식별

설정: Breakout, Pong, Pac‑Man, Freeway에서 PPO로 훈련된 4개의 500→32→32→5 MLP 정책(17,253개 가중치).
결과: Astra는 네 개 네트워크 모두에 대해 게임 이름을 정확히 맞혔으며, 신뢰도는 >99%였습니다.
추론 발췌: "채널 0(에이전트)은 행 8에 집중된 강한 가중치를 보여 하단 장착 패들을 나타냅니다. 왼쪽/오른쪽 출력 로짓은 고도로 차별화되어 Breakout의 제어 방식을 일치시킵니다."

실험 2 – 확산 모양 감지

설정: 원, 사각형, 삼각형을 생성하도록 훈련된 3개의 12×12 DDPM(23,824개 가중치).
결과: Astra는 생성된 모양(예: "단일 흰색 원 윤곽선")을 84% 신뢰도로 식별했습니다.
통찰: 모델의 출력 레이어는 가장자리 패턴을 인코딩합니다. Astra는 이러한 기하학적 시그니처를 직접 읽습니다.

실험 3 – 언어 모델 훈련 말뭉치

설정: Python, 일본어 로마자, 영어로 훈련된 3개의 7.2M 매개변수 문자 수준 트랜스포머. 입력/출력 레이어 없이 중간 트랜스포머 블록 4개만 제공되었습니다.
결과: Astra는 세 모델 모두에 대해 말뭉치를 정확히 분류했고 모든 복사(유도) 헤드를 정확히 찾아냈습니다.
증거: 표는 Astra가 식별한 복사 헤드가 실제 측정값과 일치함을 보여줍니다.

가중치 쓰기: 처음부터 에이전트 만들기

실험 5 – MinAtar 게임 정책

작업: 훈련 데이터 없이 Breakout, Seaquest, Asterix용 정책(600→32→32→6 네트워크) 생성.
결과: Astra의 원샷 네트워크는 Breakout에서 517.4점(PPO는 1억 스텝 후 15.8점)을 기록했고, Seaquest와 Asterix에서도 경쟁력 있는 성능을 보였습니다.
메커니즘: Astra는 도메인 지식(예: 패들‑볼 기하학)을 첫 번째 레이어에 인코딩하고 후속 레이어에서 결정적 컨트롤러를 프로그래밍했습니다.

실험 6 – 9×9 바둑(1.48M 매개변수)

제약: 가중치는 0에서 시작합니다. Astra는 최대 50회의 순전파 "연습" 평가를 실행할 수 있습니다.
결과: 0회 통과로 Astra는 작은 PPO 상대에게 50% 이상 승률을 기록했습니다. 50회 통과 시 2천만 게임으로 훈련된 PPO를 이겼습니다.
접근 방식: Astra는 Python으로 수제 바둑 휴리스틱(자유 수 계산, 포획 점수)을 작성한 다음 제한된 순전파를 사용해 반복적으로 개선했습니다.

가중치 편집: 기존 모델 수정 및 개선

실험 4 – 자동차‑램프 제어

모델: Kinetix용 PPO 액터(171,664개 가중치).
문제: 정책이 램프에 갇혀 후진하지 못했습니다.
편집: Astra는 **3.5%**의 가중치(6,073개 매개변수)를 변경하여 후진 주행 하위 회로를 추가했습니다.
결과: 1,024개 에피소드에서 성공률이 0%에서 **100%**로 상승했습니다.

실험 8 – Qwen3.5‑0.8B 수학 능력 개선

기준 성능: MATH‑500 7.9%(답변의 94%가 32,768토큰 한도에 도달).
편집: Astra는 레이어 15와 19에서 131,072개 가중치(모델의 0.016%)를 수정하여 루프 방향을 억제했습니다.
50회 순전파 후 성능:

지표 기준 편집 후

MATH‑500 7.9% 48.1%

GSM8K 13.8% 67.1%

IFEval(지시 따르기) 21.0% 62.3%

토큰 한도 도달 93% 33%
해석: 편집은 반복적 사고를 유발하는 단일 MLP 방향을 제거하여 모델이 추론 체인을 완료할 수 있게 했습니다.

지표	기준	편집 후
MATH‑500	7.9%	48.1%
GSM8K	13.8%	67.1%
IFEval(지시 따르기)	21.0%	62.3%
토큰 한도 도달	93%	33%

실험 7 – 아첨 탐지

설정: 두 개의 파인튜닝된 Gemma 3 270M 모델(동일한 임베딩, 다른 동작). Astra는 가중치 파일과 어텐션 패턴 로그만 받았습니다.
결과: Astra는 아첨 모델을 90% 신뢰도로 식별하고 레이어 10‑11의 어텐션 헤드와 이후 MLP 변경에 효과를 국소화했습니다.

커뮤니티 반응(HN 하이라이트)

놀라움: 많은 댓글 작성자들이 결과를 "정신이 멍해지는" "미친" 수준이라고 평가하며, 인간이 원시 가중치를 편집하는 능력과 Astra의 차이를 지적했습니다.
회의론: 일부는 가중치 패턴의 암기 가능성, 과장된 주장, 기계적 해석 가능성 데이터에 대한 광범위한 사전 훈련 의존성에 대한 우려를 제기했습니다.
시사점: 토론은 재귀적 자기 개선, 제로 데이터 능력 제어, 추론 없이 모델 감사의 가능성을 강조했습니다.

"Astra는 도구 없이도 작은 네트워크가 훈련된 게임을 결정할 수 있고, 네트워크의 가중치를 직접 편집하여 결과를 개선할 수 있으며, 작은 Qwen 모델을 손으로 편집하여 수학 능력을 약 5배 향상시킬 수 있습니다. 정말 충격적입니다." — @vessenes (HN)

이것이 중요한 이유

새로운 최적화 패러다임 – Weight‑Space Programming은 많은 세밀한 편집에서 경사 기반 훈련을 대체하여 계산량을 수 배 줄입니다.
해석 가능성 도약 – 가중치를 직접 읽으면 감사자가 모델을 실행하지 않고도 숨겨진 능력이나 백도어를 발견할 수 있습니다.
빠른 프로토타이핑 – 엔지니어는 LLM에게 작업별 정책을 몇 초 만에 생성하도록 요청하여 데이터 수집 및 훈련 파이프라인을 건너뛸 수 있습니다.
RSI의 기반 – 모델이 다른 모델의 가중치를 이해하고 개선하는 능력은 재귀적 자기 개선을 향한 구체적인 단계입니다.

한계 및 미해결 질문

컨텍스트 길이: 현재 실험은 전체 가중치 텐서를 LLM 프롬프트에 맞춥니다. 수십억 매개변수로 확장하려면 도구 지원 청킹이 필요합니다.
일반화: 편집은 실패가 단일 방향(예: 루프)으로 격리될 수 있을 때 성공했습니다. 완전히 새로운 능력을 추가하는 것은 더 어려웠습니다(Gemma 3는 무시할 만한 개선을 보였습니다).
안전성: 제약 없는 가중치 편집은 숨겨진 백도어를 도입할 수 있습니다. 강력한 검증 방법이 필요합니다.
모델 특이성: 모든 결과는 독점 Astra(GPT‑6)를 사용합니다. 다른 최첨단 모델이 이러한 능력을 재현할 수 있는지는 여전히 미해결 질문입니다.

향후 방향

벤치마크 및 하네스: 저자들은 모델, 작업, 도구 사용 체제 전반에 걸쳐 WSP를 평가하기 위한 표준화된 스위트를 공개할 예정입니다.
도구 지원 WSP: 더 큰 아키텍처를 처리하기 위해 검색, 선형 대수 라이브러리, 제한된 순전파를 통합합니다.
자동 감사: WSP 에이전트를 배포하여 출시된 모델에서 원치 않는 회로(예: 악성 프롬프트, 숨겨진 암기)를 스캔합니다.
재귀적 가중치 편집: 추론 중에 모델이 자신의 가중치를 편집하도록 훈련하여 즉석 적응을 가능하게 합니다.

참고 문헌(선택)

Takehi, R., Teoh, J., Zhang, A., & Khattab, O. (2026). Sparks of Weight‑Space Programming: LLMs can natively read & write neural network weights. https://rikiyat.github.io/blog/weight-space-programming/
Elhage et al. (2021). A Mathematical Framework for Transformer Circuits.
Karpathy (2026). autoresearch (GitHub).
원본 블로그에 인용된 학습된 최적화기, 가중치 생성, 기계적 해석 가능성에 대한 다양한 연구.

모든 실험 수치, 코드 스니펫, 추론 발췌는 원본 블로그 게시물과 첨부 로그에서 직접 가져온 것이며, 추가 데이터는 조작되지 않았습니다.