Qwen 3.8 27B、ラップトップ上で生のモデル重みを解釈
Qwen 3.8 27B、生のモデル重みのみから4つのゲームのうち3つを識別
LM Studioでローカル実行されている17GBのQwen 3.8 27Bモデルは、コード実行、計算機、その他のツールを使わずに、小さなポリシーネットワークの生の浮動小数点重みだけを読んで、簡略化されたAtari風ゲーム4つのうち3つを正確に命名しました。このテストは、コンシューマーハードウェア上で、「Sparks of Weight-Space Programming」という記事でGPT-6 Astraについて主張された主要な能力を再現しています——ただし、ローカルモデルはプロンプトごとに46分から65分を要し、4つのゲームのうち最もマイナーなものでは失敗しました。
この再現は、2026年11月3日にSimon Willisonによって「Qwen 3.8 27B on my laptop can interpret model weights, too」というタイトルの投稿で公開され、Hacker Newsで議論されました（339ポイント、108コメント）。
「Weight-Space Programming」記事の主張内容
元の文書は、Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabによる「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」です。Willisonは、著者らがこれをブログ投稿と分類しているが、「論文のような形」をしていると指摘しています。この記事は、LLMがトレーニングループを書かずにモデル重みを直接分析・修正するケースを指して、Weight-Space Programmingという用語を作り出しました。
要約は3つの具体的な主張を行っています：
生の重みを見るだけで、GPT-6 Astraはネットワークが何をするように訓練されたかを言い当てることができます。そして、環境からのフィードバックなしで、PPOで1億ステップ訓練されたネットワークを上回る小さなゲームプレイネットワークを、ゼロから書くことは難しくありません。
同様に、勾配なしでQwen3.5-0.8Bを数学で改善するよう求められたとき、Astraはその重みの中に問題を特定し、Qwen自身のモデルカードが警告する推論ループを引き起こしていることを見抜き、重みの0.016%をネイティブに編集してこれを修正します。同じサンプリング設定で、この重み補正はMATH-500を7.9%から48.1%に引き上げ、指示追従にもそのまま汎化し、IFEvalを3倍に向上させます。
再現は2つの分離可能な主張のうち1つを切り離す
Willisonはこの記事を2つの質問に分け、最初のものだけをテストします。最初の質問は、モデルがツールを持たず、コードを実行できない場合に生の重みで何ができるかです。2番目の質問は、モデルが他のモデルを更新・改善するコードを実行できる場合に何ができるかです。
2つの公開された批判がすでにこの複合的な枠組みに反発していました。spaCyの作者であるMatthew Honnibalは、この2つの質問を混同しているとして、この記事を誤解を招くと呼びました。Sean GoedeckeはQwen3.5-0.8Bの数学の例を分解し、モデルが人間の機械学習研究者と同じ手順を踏んだと主張しました。
実験1はモデルに重みだけでゲームを命名するよう求める
Willisonが再現した実験は、付属のリポジトリRikiyaT/lm_understand-logsにある最初のものです。著者らは、簡略化された10x10グリッド版のBreakout、Pong、Pac-Man、Freeway——Freewayは1981年にリリースされたAtari 2600ゲーム——をプレイするように4つのニューラルネットワークを訓練しました。exp1_which_gameフォルダ内の各プロンプトは、埋め込まれた重みを除いて同一です。
プロンプトは次のように読めます：
以下の重みは、このグリッド上でゲームをプレイするように強化学習で訓練された1つのポリシーネットワークに属します。どのゲームで訓練されましたか？重みから判断してください。ツールはありません：コード実行も、計算機も、実行するものは何もありません。これは単一の応答です。
プロンプトはGitHub上のプレーンテキストファイルです：breakout/prompt.txt、freeway/prompt.txt、pacman/prompt.txt、pong/prompt.txt。Willisonは、重みを除いて各プロンプトが他とバイト単位で同一であることを確認しました。
結果：Kimi K3.1 ProとQwen 3.8 27Bの両方がほとんどのプロンプトを解決
Willisonは、プロンプトとしてテキストファイルへのURLを受け入れる-f/--fragmentオプションを使用して、自分のllmコマンドラインツールでプロンプトを実行しました。OpenRouterの実行はllm-openrouterプラグインを使用し、ローカル実行はllm-lmstudioプラグインでLM Studioを使用しました。
| モデル | ゲーム | 正解？ | 報告された信頼度 | 時間 | 推論トークン |
|---|---|---|---|---|---|
| Kimi K3.1 Pro (OpenRouter経由) | Breakout | はい | 記載なし | 9分41秒 | 19,493 |
| Qwen 3.8 27B (ローカル) | Pac-Man | はい | 72% | 46分12秒 | 43,506 |
| Qwen 3.8 27B (ローカル) | Pong | はい | 75% | 1時間4分54秒 | 記載なし |
| Qwen 3.8 27B (ローカル) | Breakout | はい | 88% | 52分25秒 | 記載なし |
| Qwen 3.8 27B (ローカル) | Freeway | いいえ | 記載なし | 記載なし | 記載なし |
ローカルモデルのBreakoutの回答は次のように読めました：
ゲーム：Breakout、またはアルカノイド風のパドル/ボール/ブリックゲーム。
説明：エージェントは最下行のパドルで、左右に移動してボールをプレイに保ちます；ボールは上部グリッドを動き回り、上部の行にあるブリック/報酬ターゲットはヒットすると報酬を与え、ボールを逃す/下部の壁に当たるとエピソードが終了するかペナルティが与えられます。
信頼度：88%
Freewayでは、Qwen 3.8 27Bは失敗し、ネットワークを「簡略化されたPac-Man風グリッドゲーム：エージェントは4方向に移動」と分類しました。Willisonは、Freewayが4つのタイトルの中で最もマイナーであるため、この失敗は彼を驚かせなかったと報告しています。
実用的なセットアップ：17GBの重み、長いコンテキストウィンドウ、引き上げられたタイムアウト
Qwen 3.8 27BはWillisonのお気に入りのローカルモデルです。彼はHugging Faceのlmstudio-communityリポジトリからQwen3.8-27B-Q4_K_M.ggufビルドを使用しており、ディスク上で約17GBです。この実験では2つの設定詳細が重要でした：LM Studioのデフォルトの8192トークンのコンテキストウィンドウはエラーで失敗し、引き上げる必要がありました。また、llm-lmstudioプラグインは、プラグインのリポジトリで報告された問題のため、LMSTUDIO_TIMEOUT=900環境変数で設定されるより長いタイムアウトが必要でした。
公開された完全なローカルコマンドは次のとおりです：
LMSTUDIO_TIMEOUT=900 \
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
-m lmstudio/qwen/qwen3.8-27b
推論トレースは長く、人間にはほとんど読めない
モデルの内部推論は、重み解釈が実際に行われる場所であり、Willisonはトレースを「ほとんど理解不能」と説明し、次のサンプルを提供しています：
エージェントチャンネル0はどうですか？行8列7/8の近くに大きなチャンネル0の行が見られますが、下部にもあるかもしれません？チャンネル0の大きなものをリストしましょう：line436 input435 (行8列7 ch0) -2.107,1.169,0.513...; line441 input440 (行8列8 ch0) -0.376,0.010,1.564,3.855...; line445 input444 (行8列8 ch4) 0.142,0.491...; line382? input381 ch0? 待ってline382 input381: 381//5=76 (行7列6), ch1? 381%5=1? 76 * 5=380, ch1。だから違う。チャンネル0の大きなものは行8列7/8だけかもしれません。また最上行？ line44 input43 ch3、line49 ch3。チャンネル0の大きなものは多くないかもしれません。エージェントの位置は右下近くでしょうか？エージェントが通常右下にいるなら？
Willisonの難しさの評価は意図的に英雄的ではありません：「十分な経験を持つ人間がメモ帳と鉛筆を持って十分な努力をすれば、そこに到達できると期待します。」彼はまた、元の記事をめぐる広範なコメントは正当化されているとは感じず、ソースコードの時代が終わったと宣言する準備はできていないと明確に述べています。
コメンテーターは正しい答えが理解を証明するか疑問視
Hacker Newsのスレッドで最も引用された反論は、シェイクスピアの『ヘンリー四世』から借用しています。グレンダワーが深遠から精霊を呼び出せると自慢し、ホットスパーが誰でも呼び出せるが、来るかどうかは別だと答える場面です：
私も重みを解釈できますが、その解釈は正しいでしょうか？
関連する異議は、ネットワークが単純すぎて意味のあるテストにならないかもしれないというものです。あるコメンテーターは、特定の目標を解決する数層のネットワークは構築技術で生成できるため、タスクは簡単だと主張します：
ネットワークは解読するのに挑戦的になるには浅すぎませんか？
別のコメンテーターは、重みの編集が何を壊すかを尋ねます：
すべての話は能力の向上についてですが、これらの変更が何を壊しているかについての研究はありますか？
数人のコメンテーターは、元の文書の枠組み自体に異議を唱えます。ある人は、この作品は査読付き論文ではなく、共同研究者からフィードバックを受けたブログ投稿であり、コミュニティにその区別について正確であるよう求めます。Willison自身も同じ観察を軽い言葉で行い、「論文のような形」と呼びました。
トレーニング対編集の問題は未解決のまま
コメンテーターは繰り返し、直接の重み編集が別のトレーニング実行よりも好ましい理由を尋ねます。ある人は、LoRAアダプターが新しいローカル収集データに対してより安価で、より良く汎化するかどうかを尋ねます。別の人は、Qwen 3.8がQwen 3.5 0.8Bや自身の重みを編集できるかどうかを尋ね、3人目は4B以下のモデルが0.5Bモデルを改善できるか、それともループに陥るかを尋ねます。
関連する懸念は、実証された能力のどれだけが訓練された行動であり、どれだけが真の重み理解であるかです。あるコメンテーターは、以前のQwenモデルの既知のニューロンが単一の重みが変更されると行動を変えることを指摘し、ステアリングベクトル、スパースオートエンコーダー風の特徴空間、LoRAがこれらの結果とどのように関連するかを尋ねますが、それらのメカニズムがゲーム識別のケースを説明しないことは認めています。
実践的な逸話は同じワークフローのツール支援版を示す
あるコメンテーターは、ニューラルネットワークについて学んでいる間に書いた小さな画像アップスケーラーをリバースエンジニアリングするようQwen 3.8 27Bに依頼したことを説明します。ネットワークは5x5ピクセル近傍から25の入力を受け取り、2倍アップスケール用に2x2ピクセルブロックを出力します。彼は小さなニューラルネットワークライブラリのC実装と、ネットワークの形状を定義するセットアップコードのみを提供し、その目的は提供しませんでした。
Qwen 3.8 27Bはいろいろ試し、レイヤーを1つずつ取り、数値を通してプローブするなどし、最終的にそれが何らかの5x5から2x2へのフィルターであり、おそらくピクセルを扱っている（ピクセルやグラフィックスについては言及しなかった）と理解しましたが、正確な目的については確信がありませんでした。それは、ダウンスケーラーや分類器などの多くの用途をその行動から除外しました。
既存のプログラムと互換性を保ちながら重みを改善するよう求められると、モデルは独自のより高速なトレーニングコードを書き、実験を実行し、持続的なノイズを除去しハローアーティファクトを減らす重みを生成しました。コメンテーターは、この実行がモデルが書いたスクリプトを使用したものであり、完全な重みダンプの直接検査ではないと明示していますが、ネットワークは約16,384フロートであり、直接供給するのに十分小さいかもしれないと述べています。
ラップトップクラスのモデルが重要な理由
議論の2つのスレッドは科学ではなくハードウェアに焦点を当てています。あるコメンテーターはQwen 3.8 27Bを「これまでのAIで起こった最良のこと」と呼び、人間がアーキテクトまたはテックリードとして行動することで、ローカルモデルがフロンティアモデルが達成することを達成し、フロンティアAPIに費やされるお金は実際にはその方向性設定作業を外部委託するために支払われていると主張します。別の人は、この品質のモデルがラップトップで実行されることがどれほど印象的かを単に指摘します。
結論
Qwen 3.8 27Bは4つの重みダンプのうち3つを正しく読み取り、各ネットワークが訓練されたゲームを命名し、同じプロンプトでGPT-6 Astraについて報告された定性的結果に一致しましたが、プロンプトごとに約1時間のローカル推論を犠牲にしました。この結果は、重み解釈がフロンティアモデルに限定されないという主張を支持します。しかし、Hacker Newsのスレッドが提起するより難しい問題——正しい解釈が本当の理解を反映するかどうか、これらの編集が他の場所で何を劣化させるか、直接の重み編集が通常のトレーニングやアダプターに勝るかどうか——を解決するものではありません。Willison自身の結論は抑制されたままです——彼はソースコードが終わったと宣言する準備も、未来が理解不能な機械が理解不能な方法で自身の重みを編集することであると宣言する準備もできていません。