Qwen 3.8 27B 在笔记本电脑上解读原始模型权重
Qwen 3.8 27B 仅凭原始模型权重识别出四款游戏中的三款
一个在 LM Studio 中本地运行的 17GB Qwen 3.8 27B 模型，仅通过读取小型策略网络的原始浮点权重，就正确命名了四款简化 Atari 风格游戏中的三款，无需代码执行、计算器或其他工具。该测试在消费级硬件上复现了“Sparks of Weight-Space Programming”一文中宣称的 GPT-6 Astra 的核心能力——尽管本地模型每次提示需要 46 到 65 分钟，并且在四款游戏中最冷门的一款上失败了。
该复现由 Simon Willison 于 2026 年 11 月 3 日发布，帖子标题为“Qwen 3.8 27B on my laptop can interpret model weights, too”，并在 Hacker News 上引发了讨论（339 分，108 条评论）。
“Weight-Space Programming”一文的主张
源文档是 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 撰写的“Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights”。Willison 指出，作者将其归类为博客文章，尽管它“形似论文”。文中创造了术语 Weight-Space Programming，指 LLM 直接分析和修改模型权重，而无需编写训练循环。
摘要提出了三个具体主张：
仅通过查看原始权重，GPT-6 Astra 就能判断网络被训练用来做什么。并且在没有环境反馈的情况下，它可以毫不费力地从零编写小型游戏网络，其表现优于用 PPO 训练了 1 亿步的网络。
同样，当被要求在没有梯度的情况下提升 Qwen3.5-0.8B 的数学能力时，Astra 识别出其权重中导致推理循环的问题（Qwen 自己的模型卡也对此发出警告），并通过原生编辑 0.016% 的权重修复了该问题。在相同的采样设置下，这一权重修正将 MATH-500 从 7.9% 提升至 48.1%，并且开箱即用地泛化到指令跟随任务，将 IFEval 提升了 3 倍。
复现实验分离了两个可独立的主张之一
Willison 将原文拆分为两个问题，并且只测试了第一个。第一个问题是，当模型没有工具且无法执行代码时，它能用原始权重做什么。第二个问题是，当模型被允许运行代码来更新和改进其他模型时，它能做什么。
已有两篇公开评论对原文的合并框架提出了质疑。spaCy 的作者 Matthew Honnibal 称该文具有误导性，因为它混淆了这两个问题。Sean Goedecke 解构了 Qwen3.5-0.8B 的数学示例，并认为模型采取了与人类机器学习研究者相同的步骤。
实验一：要求模型仅凭权重识别游戏
Willison 复现的实验是随附仓库 RikiyaT/lm_understand-logs 中的第一个实验。作者训练了四个神经网络来玩简化版 10x10 网格的 Breakout、Pong、Pac-Man 和 Freeway——Freeway 是 1981 年发布的 Atari 2600 游戏。exp1_which_game 文件夹中的每个提示除了嵌入的权重外完全相同。
提示内容如下：
下面的权重属于一个策略网络，该网络通过强化学习训练，用于在此网格上玩一个游戏。它被训练来玩哪个游戏？请从权重出发进行推理。你没有工具：没有代码执行、没有计算器、没有任何可运行的东西。这是一个单次回答。
提示是 GitHub 上的纯文本文件：breakout/prompt.txt、freeway/prompt.txt、pacman/prompt.txt 和 pong/prompt.txt。Willison 验证了除权重外，每个提示与其他提示逐字节相同。
结果：Kimi K3.1 Pro 和 Qwen 3.8 27B 都解决了大部分提示
Willison 使用他的 llm 命令行工具运行了这些提示，使用了 -f/--fragment 选项，该选项接受一个文本文件的 URL 作为提示。OpenRouter 运行使用了 llm-openrouter 插件；本地运行使用了 LM Studio 和 llm-lmstudio 插件。
| 模型 | 游戏 | 正确？ | 报告的置信度 | 时间 | 推理 token 数 |
|---|---|---|---|---|---|
| Kimi K3.1 Pro（通过 OpenRouter） | Breakout | 是 | 未说明 | 9 分 41 秒 | 19,493 |
| Qwen 3.8 27B（本地） | Pac-Man | 是 | 72% | 46 分 12 秒 | 43,506 |
| Qwen 3.8 27B（本地） | Pong | 是 | 75% | 1 小时 4 分 54 秒 | 未说明 |
| Qwen 3.8 27B（本地） | Breakout | 是 | 88% | 52 分 25 秒 | 未说明 |
| Qwen 3.8 27B（本地） | Freeway | 否 | 未说明 | 未说明 | 未说明 |
本地模型对 Breakout 的回答如下：
游戏：Breakout，或类似 Arkanoid 的挡板/球/砖块游戏。
描述：智能体是底部一行的挡板，左右移动以保持球在游戏中；球在上方网格中移动，顶部几行的砖块/奖励目标在被击中时提供奖励，而漏球/撞到底部墙壁则结束回合或给予惩罚。
置信度：88%
在 Freeway 上，Qwen 3.8 27B 失败了，并将网络分类为“一个简化的类似 Pac-Man 的网格游戏：智能体四方向移动”。Willison 报告说，这一失败并不让他感到惊讶，因为 Freeway 是四款游戏中最冷门的。
实际设置：17GB 权重、长上下文窗口和延长的超时时间
Qwen 3.8 27B 是 Willison 首选的本地模型。他使用来自 Hugging Face 上 lmstudio-community 仓库的 Qwen3.8-27B-Q4_K_M.gguf 构建，磁盘上约 17GB。两个配置细节对本次实验很重要：LM Studio 默认的 8192 token 上下文窗口会报错，必须调高；llm-lmstudio 插件需要更长的超时时间，通过设置 LMSTUDIO_TIMEOUT=900 环境变量来实现，因为插件仓库中有一个已提交的问题。
发布的完整本地命令如下：
LMSTUDIO_TIMEOUT=900 \
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
-m lmstudio/qwen/qwen3.8-27b
推理轨迹很长，人类基本无法阅读
模型的内部推理是权重解读实际发生的地方，Willison 将轨迹描述为“几乎无法理解”，并提供了这个示例：
智能体 channel0 怎么样？我们在 row8 col7/8 附近看到一些大的 channel0 行，也许还有底部？让我们列出 channel0 大的：line436 input435 (row8 col7 ch0) -2.107,1.169,0.513...; line441 input440 (row8 col8 ch0) -0.376,0.010,1.564,3.855...; line445 input444 (row8 col8 ch4) 0.142,0.491...; line382? input381 ch0? 等等 line382 input381: 381//5=76 (row7 col6), ch1? 381%5=1? 76 * 5=380, ch1。所以不是。Channel0 大的可能只在 row8 col7/8。还有顶行？line44 input43 ch3, line49 ch3。Channel0 大的可能不多。智能体位置可能在右下角附近？如果智能体通常在右下角？
Willison 对难度的评估刻意低调：“我预计一个经验丰富的人，带着记事本和铅笔，经过足够的努力也能做到。”他还明确表示，围绕原文的更广泛评论似乎并不合理，他还没有准备好宣布源代码时代的终结。
评论者质疑正确答案是否证明理解
Hacker News 帖子中被引用最多的反驳观点借用了莎士比亚《亨利四世》中的情节，格伦道尔夸口说能从深渊召唤精灵，而霍茨波回答说任何人都能召唤它们，但它们会来吗：
我也能解读权重，但那种解读会是正确的吗？
一个相关的反对意见是，网络可能太小，不足以构成有意义的测试。一位评论者认为任务很容易，因为一个解决特定目标的几层网络可以通过构造技术生成：
网络是不是太浅了，不足以构成解码挑战？
另一位评论者问的是权重编辑破坏了什么，而不是修复了什么：
所有讨论都集中在能力的提升上，但有没有研究过这些更改破坏了什么？
几位评论者质疑源文档本身的框架。一位评论者反对说，这是一篇博客文章，收到了合作者的反馈，而不是同行评审的论文，并要求社区明确区分这一点。Willison 本人也以更轻松的方式提出了同样的观察，称其为“形似论文”。
训练与编辑的问题仍然悬而未决
评论者反复问，为什么直接编辑权重会比另一次训练运行更可取。一位评论者问，对于新收集的本地数据，LoRA 适配器是否会更便宜且泛化更好。另一位问 Qwen 3.8 能否编辑 Qwen 3.5 0.8B 甚至它自己的权重，第三位问 4B 或更小的模型能否改进 0.5B 模型，或者是否会陷入循环。
一个相关的担忧是，所展示的能力中有多少是训练出来的行为，而不是真正的权重理解。一位评论者指出早期 Qwen 模型中已知的神经元，当单个权重被修改时行为会改变，并问这些结果与转向向量、稀疏自编码器风格的特征空间和 LoRA 有何关系，同时承认这些机制并不能解释游戏识别的情况。
一个动手轶事展示了同一工作流的工具辅助版本
一位评论者描述了他让 Qwen 3.8 27B 逆向工程一个小型图像放大器的经历，这是他学习神经网络时编写的。该网络从 5x5 像素邻域接收 25 个输入，并输出一个 2x2 像素块以实现 2 倍放大。他只提供了小型神经网络库的 C 实现和定义网络形状的设置代码，没有提供其用途。
Qwen 3.8 27B 尝试了很多东西，逐层处理，通过它传递数字等等，最终弄清楚它是某种 5x5 到 2x2 的滤波器，很可能处理像素（我从未提到像素或图形），尽管它不确定确切用途。它确实从行为中排除了一些用途，比如降采样器或分类器。
当被要求改进权重同时保持与现有程序兼容时，模型编写了自己的更快训练代码，运行实验，并生成了消除持续噪声和减少光晕伪影的权重。评论者明确表示，这次运行使用了模型编写的脚本，而不是直接检查完整的权重转储，尽管他指出网络只有大约 16,384 个浮点数，因此可能足够小，可以直接输入。
为什么笔记本电脑级模型很重要
讨论中有两条线索集中在硬件而非科学上。一位评论者称 Qwen 3.8 27B 是“迄今为止 AI 领域发生的最好的事情”，认为在人类充当架构师或技术负责人的情况下，本地模型可以完成前沿模型能做的事情，而花在前沿 API 上的钱实际上是在外包这种方向设定工作。另一位只是简单指出，这种质量的模型能在笔记本电脑上运行是多么引人注目。
结论
Qwen 3.8 27B 正确读取了四个权重转储中的三个，并命名了每个网络被训练玩的游戏，与 GPT-6 Astra 在相同提示下报告的定性结果一致，代价是每个提示大约一小时的本地推理时间。结果支持了权重解读并非前沿模型独有的主张。但它没有解决 Hacker News 帖子中提出的更困难的问题：正确的解读是否反映了真正的理解，这些编辑在其他地方会破坏什么，以及直接权重编辑是否优于普通训练或适配器。Willison 自己的结论保持克制——他还没有准备好宣布源代码的终结，也没有准备好宣布未来是不理解机器以不可理解的方式编辑自己权重的时代。