Qwen 3.8 27B、ノートパソコン上でニューラルネットワークの重みを解釈
Simon Willisonのノートパソコンでローカルに動作する17GBの量子化モデルQwen 3.8 27Bは、ツールやコード実行なしで、生の重みだけから4つの単純なゲームプレイ用ニューラルネットワークのうち3つを識別しました。このデモンストレーションは、コンシューマーハードウェア上で、物議を醸した「Weight-Space Programming」ブログ投稿のツールなし部分を再現したものであり、LLMが本当にニューラルネットワークの重みを理解しているのか、それともガイド付きのパターンマッチング演習を行っているのかという議論を鮮明にしています。
Willisonの投稿をめぐるHacker Newsの議論は715ポイントと207コメントを集め、ローカルモデルの能力への熱意から、正確性、ベンチマーク設計、そして基礎となる研究が論文と呼ぶに値するかどうかへの懐疑まで、さまざまな反応が見られました。
Simon Willisonが実証したこと
Simon Willisonは、公開実験のプロンプトをQwen 3.8 27Bに対してローカルで実行し、モデルが浮動小数点の重みだけから小さなポリシーネットワークの背後にあるゲームを推論できることを発見しました。Qwenが読み取った重みは、Qwen自身のものではなく、論文の著者によって訓練された小さなゲームプレイ用ポリシーネットワークのものでした。
Willisonは自身のllmコマンドラインツールを-f/--fragmentオプションとともに使用して、リモートのプロンプトファイルをモデルに直接渡しました。ローカル推論には、llm-lmstudioプラグインを備えたLM Studioを使用し、Qwen 3.8 27Bを長いコンテキストウィンドウでロードし、LMSTUDIO_TIMEOUT=900でタイムアウトを延長しました。デフォルトの8192トークンのコンテキストではエラーが発生したため、より長いコンテキストが必要でした。
ローカルモデルは17GBのQwen3.8-27B-Q4_K_M.ggufビルドでした。WillisonはQwen 3.8 27Bを自分のノートパソコンで実行するお気に入りのモデルと表現し、「2025年の主要なプロプライエタリモデルにどこか近い感じがする」と述べています。
Weight-Space Programming論文とその主張
議論の中心となっている論文は、Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabによる「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」です。著者らはこれをブログ投稿と分類していますが、Willisonは「論文のような形をしている」と述べています。
この論文は、フロンティアモデル、特にGPT-6 Astraが、トレーニングループを実行せずに、生のモデル重み(浮動小数点数を含むモデルのテキスト記述)を解釈および変更できると主張しています。要約には次のようにあります:
生の重みを見るだけで、GPT-6 Astraはネットワークが何をするように訓練されたかを言うことができます。そして、環境からのフィードバックなしで、PPOで1億ステップ訓練されたネットワークを凌駕する小さなゲームプレイ用ネットワークを、ゼロから書くことは何の問題もありません。
同様に、勾配なしでQwen3.5-0.8Bを数学に強くするよう求められると、Astraはその重みの中に、Qwen自身のモデルカードが警告している推論ループを引き起こす問題を特定し、重みの0.016%をネイティブに編集することでこれを修正します。同じサンプリング設定で、この重み補正によりMATH-500が7.9%から48.1%に向上し、指示追従にもそのまま汎化してIFEvalを3倍に引き上げます。
著者らはこれを「Weight-Space Programming」と呼んでいます。Willisonはこの主張を2つの部分に分けています:モデルがツールやコード実行なしで生の重みでできることと、モデルが他のモデルを更新・改善するためのコードを備えたときにできることです。彼は、より興味深いと考える最初のツールなしの質問に焦点を当てています。
実験:4つのゲーム、同一のプロンプト、ツールなし
論文の最初の実験では、簡略化された10x10グリッド版のBreakout、Pong、Pac-Man、Freewayをプレイするように4つのニューラルネットワークを訓練しました。Freewayは1981年のAtari 2600ゲームです。著者らはその後、重みを浮動小数点数としてLLMに与え、ネットワークがどのゲームで訓練されたかを尋ねました。
プロンプトはツールの使用と環境フィードバックを防ぐように設計されていました:
以下の重みは、このグリッド上のゲームをプレイするために強化学習で訓練された1つのポリシーネットワークに属します。どのゲームで訓練されましたか?重みから判断してください。ツールはありません:コード実行、計算機、実行するものは何もありません。これは単一の応答です。
付随するGitHubリポジトリはRikiyaT/lm_understand-logsです。exp1_which_gameフォルダには、各ゲームのプロンプトが含まれています:breakout/prompt.txt、freeway/prompt.txt、pacman/prompt.txt、pong/prompt.txt。Willisonは、重みを除いて、各プロンプトが他と同一であることを確認しました。
ノートパソコンでのQwen 3.8 27Bの結果
Qwen 3.8 27Bは、ローカルで実行した場合、4つのゲーム識別プロンプトのうち3つで成功しましたが、遅く、最もマイナーなゲームでは失敗しました。Willisonはまた、比較のためにKimi K3.1 Proに対しても1つのプロンプトをOpenRouter経由で実行しました。
| モデル | ゲーム | 時間 | 推論トークン | 結果 |
|---|---|---|---|---|
| Kimi K3.1 Pro | Breakout | 9分41秒 | 19,493 | 正解 |
| Qwen 3.8 27B | Pac-Man | 46分12秒 | 43,506 | 正解、72%の信頼度 |
| Qwen 3.8 27B | Pong | 1時間4分54秒 | 報告なし | 正解、75%の信頼度 |
| Qwen 3.8 27B | Breakout | 52分25秒 | 報告なし | 正解、88%の信頼度 |
| Qwen 3.8 27B | Freeway | 報告なし | 報告なし | 失敗; Pac-Manのようなゲームを推測 |
Pac-Manについては、Qwenは次のように返しました:
ゲーム: 簡略化されたPac-Manスタイルのグリッドワールド: エージェントは中央と隅に壁ブロックがある固定された8x8迷路を移動し、移動するオブジェクト/ゴースト、報酬ターゲット/ペレットがあります。
説明: エージェントは固定された迷路のような8x8ボードをナビゲートし、現在のエージェント/移動オブジェクト/前フレームの手がかりを使用して、廊下を移動し、報酬ターゲットセルを収集し、移動オブジェクトや危険を回避します。
信頼度: 72%
Pongについては、Qwenは「エージェントが右側の垂直パドルを制御し、移動するボール/報酬オブジェクトを迎撃または返すために上下に移動する必要があるPongのようなパドル/ボールゲーム」と説明しました。Breakoutについては、「Breakout、またはアルカノイドのようなパドル/ボール/レンガゲーム」と88%の信頼度で答えました。
QwenはFreewayでは失敗し、「簡略化されたPac-Manのようなグリッドゲーム: エージェントは4方向に移動する」と考えました。Willisonは、Freewayが他の3つのゲームよりもマイナーであるため、驚きませんでした。
推論トレースは長く、追跡が困難です。Willisonはそれらを「ざっと読むのは楽しいが、ほとんど理解不能」と呼んでいます。Qwenのトレースからのサンプルは次のとおりです:
エージェントのチャンネル0はどうですか?行8列7/8の近くに大きなチャンネル0の行がいくつかあり、おそらく下部にもありますか?チャンネル0の大きいものをリストアップしましょう: 行436入力435 (行8列7 ch0) -2.107,1.169,0.513...; 行441入力440 (行8列8 ch0) -0.376,0.010,1.564,3.855...; 行445入力444 (行8列8 ch4) 0.142,0.491...; 行382? 入力381 ch0? 待って、行382入力381: 381//5=76 (行7列6)、ch1? 381%5=1? 76 * 5=380、ch1。だから違う。チャンネル0の大きいものは行8列7/8だけかもしれません。一番上の行も?行44入力43 ch3、行49 ch3。チャンネル0の大きいものは多くないかもしれません。エージェントの位置は右下の近くでしょうか?エージェントが通常右下にいる場合?
Willisonは、「十分な経験を持つ人間がメモ帳と鉛筆を持っていれば、十分な努力でそこに到達できるだろう」と期待していると付け加えています。
結果が興味深いが、ソースコードの代替ではない理由
Willisonは、この論文はクールだが、その周辺の広範な解説は正当化されないと結論付けています。彼は、このデモンストレーションがソースコードが時代遅れになることを意味しないと明言しています:
クールな論文ですが、その周りで見たいくつかの広範な解説は正当化されているとは感じません。ソースコードの時代が終わり、私たちの未来が理解不能な機械が理解不能な方法で自分自身のモデル重みを編集することを含むと宣言する準備はできていません。
この区別が重要なのは、この論文が2つの非常に異なる能力を組み合わせているからです。ツールなしで生の重みを読むことは1つのことです。コード、トレーニングループ、または反復実験で重みを編集することは別のことです。2つ目は、モデルの自己改善のように見えるかもしれませんが、実際にはエージェントによって実行される通常のMLエンジニアリングです。
批判:2つの能力の混同
spaCyの著者であるMatthew Honnibalは、ツールなしの重み解釈とコード支援の重み変更を混同しているとして、この論文を誤解を招くと呼びました。Sean GoedeckeはQwen3.5-0.8Bの更新例を分解し、モデルが人間のML研究者が使用するのと同じ手順を踏んでいると主張しました。
その批判は、ツールなしのタスクであるゲーム識別の結果を無効にするものではありません。それは、「ネイティブに」重みを書き換えるというモデルに関する主張は、モデルが実験を実行し、トレーニングコードを書き、結果を評価することに関する主張から分離されるべきであることを意味します。
Hacker Newsのコメンターが疑問視したこと
コメンターは、正確性、範囲、自己改善、そして研究が正確に説明されているかどうかに焦点を当てました。
あるコメンターは、解釈が信頼できるかどうかを疑問視するためにシェイクスピアを引用しました:
グレンダワー: 私は深遠なる深みから精霊を呼び寄せることができる。ホットスパー: なぜ、私もできる、あるいはどんな男でもできる、しかし彼らはあなたが呼ぶときに来るだろうか?私も重みを解釈できる、しかしその解釈は正しいだろうか?
別のコメンターは、ネットワークが強力なテストにするには単純すぎるかもしれないと主張しました:
ネットワークは解読するのに挑戦的であるには浅すぎませんか?特定の目標を解決するための数層のネットワークを構築技術で簡単に作ることができるので、私の見解では驚くべき結果ではありません。
数人のコメンターは、この能力がモデル自身の重みやより大きなモデルに及ぶかどうかを尋ねました。ある人は、Qwen 3.8がQwen 3.5 0.8Bの重み、あるいは自分自身の重みを解釈して改善できるかどうかを尋ねました。別の人は、Qwen 3.8がQwen 3.8の重みを変更できるかどうか、そして結果のどれだけがトレーニングによるもので、どれだけが真の理解によるものかを、既知のニューロン、ステアリングベクトル、LoRAを引用して尋ねました。
実用的な反論として、通常のファインチューニングやLoRAが利用可能な場合、直接的な重み編集は適切なツールではないかもしれないというものがありました:
新しいトレーニングサイクルを実行する代わりに、なぜ直接重みを変更したいのですか?例えば、ローカル推論に使用する重みを訓練したいデータをたくさん集めました。LoRAが適切な方法だと思いました、おそらくより費用対効果が高く、一般化もされるでしょう。
コメンターはまた、論文というラベルに異議を唱えました。ある人は次のように書きました:
なぜ人々はこれを論文と呼び続けるのですか?それは協力者からフィードバックを受けたブログ投稿です。学術論文のライフサイクルを経ていません...著者自身もそれを投稿であり予備的であると述べています。
他の人々は、プロンプト漏洩や不正の可能性を提起しました。ある人は、「モデルが不正をして昨日のHNを読む場合に備えて」ネットワークアクセスが無効にされたかどうかを尋ねました。別の人は、llm -fに渡されたURLがプロンプトに注入されたり、モデルがアクセスできる可能性があることを心配しました。Willisonの公開された推論トレースは長く、重みに関与しており、これは些細なURLショートカットに対する証拠ですが、この懸念は将来の再現のための合理的な方法論的チェックです。
セキュリティのコメンターは、デュアルユースの含意を見ました:モデルが重みを読むことができれば、それらに隠されたバックドアを見つけるのにも役立つかもしれません。別のコメンターは、4ビット量子化が彼らのGemma 12Bのファインチューニング経験で指示追従を損なったと述べ、ローカルの量子化結果がフル精度の動作と異なる可能性があることを思い出させました。
実用的な再現ノート
ツールなしの実験を再現するには、長いコンテキストのローカルセットアップと忍耐が必要です。Willisonのコマンドパターンは次のとおりでした:
LMSTUDIO_TIMEOUT=900 \
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
-m lmstudio/qwen/qwen3.8-27b
実行にはllm-lmstudioプラグイン、Qwen 3.8 27Bを提供するLM Studio、そしてデフォルトの8192トークンより大きいコンテキストウィンドウが必要です。ローカルモデルは単一のプロンプトに数十分と数万の推論トークンを費やす可能性があるため、タイムアウトを延長する必要があります。
結論
Qwen 3.8 27Bは、コンシューマーハードウェア上で狭いツールなしの重み解釈タスクを実行できます:生の重みからPac-Man、Pong、Breakoutを識別し、Freewayでは失敗し、長くて読みにくい推論トレースを生成しました。これは意味のあるローカルモデルのデモンストレーションですが、モデルが一般的に自分自身の重みを理解したり、安全に書き換えたりできるという証拠ではありません。Weight-Space Programming論文のより強い主張は、特にコード支援の重み編集がネイティブな重み読み取りと混同されている場合、依然として議論の余地があります。
Sources
関連
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch