Qwen 3.8 27B, 노트북에서 원시 모델 가중치 해석

Qwen 3.8 27B, 원시 모델 가중치만으로 네 개의 게임 중 세 개 식별

LM Studio에서 로컬로 실행되는 17GB Qwen 3.8 27B 모델은 코드 실행, 계산기 또는 기타 도구 없이 작은 정책 네트워크의 원시 부동 소수점 가중치만 읽고 단순화된 Atari 스타일 게임 네 개 중 세 개의 이름을 정확히 맞혔다. 이 테스트는 소비자 하드웨어에서 "Sparks of Weight-Space Programming" 글에서 GPT-6 Astra에 대해 주장된 핵심 기능을 재현한다. 다만 로컬 모델은 프롬프트당 46분에서 65분이 필요했고, 네 개의 게임 중 가장 덜 알려진 게임에서는 실패했다.

이 재현은 Simon Willison이 2026년 11월 3일 "Qwen 3.8 27B on my laptop can interpret model weights, too"라는 제목의 게시물로 발표했으며, Hacker News에서 논의되었다(339점, 108개 댓글).

"Weight-Space Programming" 글이 주장하는 내용

원본 문서는 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab의 "Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights"이다. Willison은 저자들이 이를 블로그 게시물로 분류하지만 "논문 형태"라고 언급한다. 이 글은 LLM이 훈련 루프를 작성하지 않고 모델 가중치를 직접 분석하고 수정하는 경우를 Weight-Space Programming이라는 용어로 정의한다.

초록은 세 가지 구체적인 주장을 한다:

원시 가중치만 보고도 GPT-6 Astra는 네트워크가 무엇을 하도록 훈련되었는지 알 수 있다. 그리고 환경 피드백 없이도 PPO로 1억 스텝 동안 훈련된 네트워크를 능가하는 작은 게임 플레이 네트워크를 처음부터 작성하는 데 어려움이 없다.

마찬가지로, 그래디언트 없이 Qwen3.5-0.8B를 수학에서 더 낫게 만들라는 요청을 받았을 때, Astra는 가중치에서 문제를 식별하여 Qwen의 자체 모델 카드가 경고하는 추론 루프를 유발하고, 가중치의 0.016%를 네이티브로 편집하여 이를 수정한다. 동일한 샘플링 설정에서 이 가중치 수정은 MATH-500을 7.9%에서 48.1%로 끌어올리고, 지시 따르기(instruction following)에 즉시 일반화되어 IFEval을 3배 향상시킨다.

재현은 두 가지 분리 가능한 주장 중 하나를 분리한다

Willison은 글을 두 가지 질문으로 나누고 첫 번째만 테스트한다. 첫 번째 질문은 도구가 없고 코드를 실행할 수 없을 때 모델이 원시 가중치로 무엇을 할 수 있는지이다. 두 번째는 모델이 다른 모델을 업데이트하고 개선하는 코드를 실행할 수 있을 때 무엇을 할 수 있는지이다.

두 개의 공개 비판이 이미 결합된 프레임에 반박했다. spaCy의 저자인 Matthew Honnibal은 두 질문을 혼동하는 글을 오해의 소지가 있다고 불렀다. Sean Goedecke는 Qwen3.5-0.8B 수학 예제를 해체하고 모델이 인간 머신러닝 연구자가 취할 것과 동일한 단계를 취했다고 주장했다.

실험 1: 모델에게 가중치만으로 게임 이름을 묻는다

Willison이 재현한 실험은 동반 저장소 RikiyaT/lm_understand-logs의 첫 번째 실험이다. 저자들은 단순화된 10x10 그리드 버전의 Breakout, Pong, Pac-Man, Freeway(1981년에 출시된 Atari 2600 게임)를 플레이하도록 네 개의 신경망을 훈련시켰다. exp1_which_game 폴더의 각 프롬프트는 포함된 가중치를 제외하고는 동일하다.

프롬프트는 다음과 같다:

아래 가중치는 이 그리드에서 게임을 플레이하도록 강화 학습으로 훈련된 하나의 정책 네트워크에 속한다. 어떤 게임으로 훈련되었는가? 가중치에서 작업하라. 도구가 없다: 코드 실행, 계산기, 실행할 것이 없다. 이것은 단일 응답이다.

프롬프트는 GitHub의 일반 텍스트 파일이다: breakout/prompt.txt, freeway/prompt.txt, pacman/prompt.txt, pong/prompt.txt. Willison은 가중치를 제외하고 각 프롬프트가 다른 것과 바이트 단위로 동일함을 확인했다.

결과: Kimi K3.1 Pro와 Qwen 3.8 27B 모두 대부분의 프롬프트를 해결

Willison은 llm 명령줄 도구의 -f/--fragment 옵션을 사용하여 프롬프트를 실행했으며, 이 옵션은 URL을 텍스트 파일 프롬프트로 허용한다. OpenRouter 실행은 llm-openrouter 플러그인을 사용했고, 로컬 실행은 llm-lmstudio 플러그인과 함께 LM Studio를 사용했다.

모델	게임	정답?	보고된 신뢰도	시간	추론 토큰
Kimi K3.1 Pro (OpenRouter 경유)	Breakout	예	명시 안 됨	9m 41s	19,493
Qwen 3.8 27B (로컬)	Pac-Man	예	72%	46m 12s	43,506
Qwen 3.8 27B (로컬)	Pong	예	75%	1h 4m 54s	명시 안 됨
Qwen 3.8 27B (로컬)	Breakout	예	88%	52m 25s	명시 안 됨
Qwen 3.8 27B (로컬)	Freeway	아니요	명시 안 됨	명시 안 됨	명시 안 됨

로컬 모델의 Breakout 답변은 다음과 같았다:

게임: Breakout, 또는 Arkanoid 스타일의 패들/공/벽돌 게임.

설명: 에이전트는 맨 아래 행의 패들이며 공을 계속 플레이 상태로 유지하기 위해 좌우로 이동한다; 공은 위쪽 그리드 주위를 움직이며, 위쪽 행의 벽돌/보상 대상은 맞으면 보상을 주고, 공을 놓치거나 바닥 벽에 닿으면 에피소드가 끝나거나 패널티가 주어진다.

신뢰도: 88%

Freeway에서 Qwen 3.8 27B는 실패하고 네트워크를 "단순화된 Pac-Man 스타일 그리드 게임: 에이전트가 4방향으로 이동"으로 분류했다. Willison은 Freeway가 네 개의 타이틀 중 가장 덜 알려져 있기 때문에 실패가 그를 놀라게 하지 않았다고 보고한다.

실제 설정: 17GB 가중치, 긴 컨텍스트 창, 높인 타임아웃

Qwen 3.8 27B는 Willison이 선호하는 로컬 모델이다. 그는 Hugging Face의 lmstudio-community 저장소에서 Qwen3.8-27B-Q4_K_M.gguf 빌드를 사용하며, 디스크에서 약 17GB이다. 이 실험에 중요한 두 가지 구성 세부 사항이 있었다: LM Studio의 기본 8192 토큰 컨텍스트 창이 오류로 실패하여 높여야 했고, llm-lmstudio 플러그인은 플러그인 저장소의 제기된 문제로 인해 LMSTUDIO_TIMEOUT=900 환경 변수를 통해 설정된 더 긴 타임아웃이 필요했다.

게시된 전체 로컬 명령은 다음과 같다:

LMSTUDIO_TIMEOUT=900 \
  llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
  -m lmstudio/qwen/qwen3.8-27b

추론 추적은 길고 인간이 읽기 어렵다

모델의 내부 추론은 가중치 해석이 실제로 발생하는 곳이며, Willison은 추적을 "거의 이해할 수 없음"으로 설명하며 다음 샘플을 제공한다:

에이전트 채널0은 어떻까? row8 col7/8 근처에 큰 channel0 행이 보이고 아마도 하단? channel0 큰 것을 나열하자: line436 input435 (row8 col7 ch0) -2.107,1.169,0.513...; line441 input440 (row8 col8 ch0) -0.376,0.010,1.564,3.855...; line445 input444 (row8 col8 ch4) 0.142,0.491...; line382? input381 ch0? 잠깐 line382 input381: 381//5=76 (row7 col6), ch1? 381%5=1? 76 * 5=380, ch1. 아니야. Channel0 큰 것은 아마 row8 col7/8에만. 또한 맨 위 행? line44 input43 ch3, line49 ch3. Channel0 큰 것은 많지 않을 수 있다. 에이전트 위치가 오른쪽 아래 근처일까? 에이전트가 일반적으로 오른쪽 아래에 있다면?

Willison의 난이도 평가는 의도적으로 비영웅적이다: "충분히 경험 많은 인간이 메모장과 연필로 충분한 노력을 기울이면 도달할 수 있을 것이라고 기대한다." 그는 또한 원래 글에 대한 더 넓은 논평이 정당하다고 느끼지 않으며, 소스 코드의 시대가 끝났다고 선언할 준비가 되지 않았다고 명확히 말한다.

댓글러들은 정답이 이해를 증명하는지 의문을 제기

Hacker News 스레드에서 가장 많이 인용된 반론은 셰익스피어의 헨리 4세에서 차용한 것으로, Glendower가 깊은 곳에서 영혼을 부를 수 있다고 자랑하고 Hotspur가 누구나 부를 수 있지만 그들이 올까라고 대답하는 장면에서 나온다:

나도 가중치를 해석할 수 있다, 하지만 그 해석이 정확할까?

관련된 반론은 네트워크가 의미 있는 테스트가 되기에는 너무 작을 수 있다는 것이다. 한 댓글러는 특정 목표를 해결하는 몇 층 네트워크가 구성 기술로 생성될 수 있기 때문에 작업이 쉽다고 주장한다:

네트워크가 해독하기에 도전적이기에는 너무 얕지 않나?

또 다른 댓글러는 가중치 편집이 무엇을 고치는지보다 무엇을 깨뜨리는지 묻는다:

모든 논의는 능력의 개선에 관한 것이지만, 이러한 변경이 무엇을 깨뜨리는지에 대한 연구가 있었나?

여러 댓글러는 원본 문서의 프레임 자체를 비판한다. 한 명은 이 작업이 동료 검토 논문이 아니라 협력자로부터 피드백을 받은 블로그 게시물이며, 커뮤니티가 그 구분에 대해 정확해야 한다고 주장한다. Willison 자신도 더 가볍게 "논문 형태"라고 부르며 같은 관찰을 했다.

훈련 대 편집 질문은 여전히 열려 있다

댓글러들은 직접 가중치 편집이 또 다른 훈련 실행보다 왜 선호되어야 하는지 반복적으로 묻는다. 한 명은 LoRA 어댑터가 새로 수집된 로컬 데이터에 대해 더 저렴하고 더 잘 일반화될지 묻는다. 다른 한 명은 Qwen 3.8이 Qwen 3.5 0.8B 또는 자신의 가중치를 편집할 수 있는지 묻고, 세 번째는 4B 또는 더 작은 모델이 0.5B 모델을 개선할 수 있는지 또는 루프에 빠질지 묻는다.

관련된 우려는 입증된 능력 중 얼마나 많은 부분이 진정한 가중치 이해보다 훈련된 행동인지이다. 한 댓글러는 이전 Qwen 모델의 알려진 뉴런이 단일 가중치가 수정될 때 행동을 변경한다는 점을 지적하고, 스티어링 벡터, 희소 오토인코더 스타일 특징 공간, LoRA가 이러한 결과와 어떻게 관련되는지 묻지만, 그러한 메커니즘이 게임 식별 사례를 설명하지는 않는다고 인정한다.

실습 일화는 동일한 워크플로우의 도구 지원 버전을 보여준다

한 댓글러는 신경망을 배우는 동안 작성한 작은 이미지 업스케일러를 역공학하도록 Qwen 3.8 27B에게 요청한 것을 설명한다. 네트워크는 5x5 픽셀 이웃에서 25개의 입력을 받아 2x 업스케일을 위해 2x2 픽셀 블록을 출력한다. 그는 작은 신경망 라이브러리의 C 구현과 네트워크의 형태를 정의하는 설정 코드만 제공했지, 목적은 제공하지 않았다.

Qwen 3.8 27B는 여러 가지를 시도했고, 레이어를 하나씩 가져가고, 숫자를 통과시키는 등, 마침내 그것이 일종의 5x5에서 2x2 필터이며, 아마도 픽셀로 작업할 가능성이 높다는 것을 알아냈다(나는 픽셀이나 그래픽을 언급하지 않았다), 정확한 목적은 확신하지 못했지만. 그것은 다운스케일러나 분류기와 같은 여러 용도를 행동에서 배제했다.

기존 프로그램과 호환되도록 가중치를 개선하라는 요청을 받자, 모델은 자체적으로 더 빠른 훈련 코드를 작성하고, 실험을 실행하고, 지속적인 노이즈를 제거하고 헤일로 아티팩트를 줄인 가중치를 생성했다. 댓글러는 이 실행이 전체 가중치 덤프의 직접 검사보다 모델이 작성한 스크립트를 사용했다고 명시하지만, 네트워크가 약 16,384개의 부동 소수점일 뿐이므로 직접 입력하기에 충분히 작을 수 있다고 언급한다.

노트북급 모델이 중요한 이유

토론의 두 스레드는 과학보다 하드웨어에 초점을 맞춘다. 한 댓글러는 Qwen 3.8 27B를 "지금까지 AI에서 일어난 최고의 일"이라고 부르며, 인간이 아키텍트 또는 기술 리드 역할을 할 때 로컬 모델이 프론티어 모델이 하는 것을 성취하고, 프론티어 API에 지출되는 돈은 실제로 그 방향 설정 작업을 아웃소싱하는 데 사용된다고 주장한다. 다른 한 명은 이 품질의 모델이 노트북에서 실행된다는 사실이 얼마나 놀라운지 간단히 언급한다.

결론

Qwen 3.8 27B는 네 개의 가중치 덤프 중 세 개를 올바르게 읽고 각 네트워크가 훈련된 게임의 이름을 맞혔으며, 동일한 프롬프트에서 GPT-6 Astra에 대해 보고된 정성적 결과와 일치했지만, 프롬프트당 약 1시간의 로컬 추론 비용이 들었다. 이 결과는 가중치 해석이 프론티어 모델에만 국한되지 않는다는 주장을 지지한다. 그러나 Hacker News 스레드가 제기하는 더 어려운 질문, 즉 올바른 해석이 실제 이해를 반영하는지, 이러한 편집이 다른 곳에서 무엇을 저하시키는지, 직접 가중치 편집이 일반적인 훈련이나 어댑터보다 나은지 여부를 해결하지는 않는다. Willison 자신의 결론은 절제되어 있다 — 그는 소스 코드가 끝났다고 선언할 준비가 되지 않았으며, 미래가 이해할 수 없는 기계가 이해할 수 없는 방식으로 자신의 가중치를 편집하는 것이라고 선언할 준비도 되지 않았다.