权重空间编程：Astra 读取与写入神经网络权重

TL;DR

Astra（GPT‑6）能够读取神经网络权重以推断其行为，写入超越 PPO 训练智能体的新权重，并编辑现有模型（如 Qwen3.5‑0.8B）以显著提升数学性能——全程无需梯度下降或外部工具。这一能力被称为权重空间编程。

什么是权重空间编程？

权重空间编程（WSP）是指使用通用大语言模型，仅凭自然语言规范，直接读取和写入模型的权重张量。与传统优化器（如 Adam、PPO）或学习型权重生成器不同，WSP 不运行训练循环；LLM 直接推理每个权重应实现的功能，并据此编辑张量。

关键特性：

零样本读取：LLM 接收原始权重值作为文本，并预测网络的任务。
零样本写入：给定任务描述和架构，LLM 生成实现该任务的完整权重矩阵。
定向编辑：LLM 识别有问题的子方向（如循环行为），并仅修改极小比例的参数。

读取权重：从数字理解网络

实验 1 – 游戏识别

设置：四个 500→32→32→5 的 MLP 策略（17,253 个权重），通过 PPO 在 Breakout、Pong、Pac‑Man 和 Freeway 上训练。
结果：Astra 正确识别了所有四个网络的游戏名称，置信度 >99%。
推理摘录：“通道 0（智能体）的强权重集中在第 8 行，表明底部有挡板；左右移动的输出 logits 高度分化，符合 Breakout 的控制方案。”

实验 2 – 扩散模型形状检测

设置：三个 12×12 的 DDPM（23,824 个权重），分别训练生成圆形、方形或三角形。
结果：Astra 识别出生成的形状（如“单个白色圆形轮廓”），置信度为 84%。
洞察：模型的输出层编码了边缘模式；Astra 直接读取这些几何特征。

实验 3 – 语言模型训练语料

设置：三个 7.2M 参数、字符级 transformer，分别在 Python、日语罗马字或英语上训练。仅提供中间四个 transformer 块（不含输入/输出层）。
结果：Astra 正确分类了所有三个模型的语料，并精确定位了每个复制（归纳）头。
证据：表格显示 Astra 识别的复制头与真实测量结果一致。

写入权重：从零创建智能体

实验 5 – MinAtar 游戏策略

任务：为 Breakout、Seaquest 和 Asterix（600→32→32→6 网络）生成策略，无任何训练数据。
结果：Astra 的一次性网络在 Breakout 上得分 517.4，而 PPO 在 1 亿步后仅得 15.8；在 Seaquest 和 Asterix 上也表现优异。
机制：Astra 将领域知识（如挡板‑球几何）编码到第一层，并在后续层中编程实现确定性控制器。

实验 6 – 9×9 围棋（1.48M 参数）

约束：权重从零开始；Astra 最多可运行 50 次前向传播的“练习”评估。
结果：0 次前向传播时，Astra 对小型 PPO 对手胜率 >50%；50 次前向传播后，击败了在 2000 万局上训练的 PPO。
方法：Astra 用 Python 编写了手工围棋启发式（气数计算、吃子评分），然后利用有限的前向传播迭代优化。

编辑权重：修复与增强现有模型

实验 4 – 汽车‑坡道控制

模型：Kinetix 的 PPO 演员（171,664 个权重）。
问题：策略在坡道上卡住，从不倒车。
编辑：Astra 修改了 3.5% 的权重（6,073 个参数），添加了倒车驱动子电路。
结果：在 1,024 个回合中，成功率从 0% 提升至 100%。

实验 8 – 改进 Qwen3.5‑0.8B 的数学能力

基线性能：MATH‑500 7.9%（94% 的答案达到 32,768 token 限制）。
编辑：Astra 修改了第 15 层和第 19 层的 131,072 个权重（占模型的 0.016%），以抑制循环方向。
50 次前向传播后的性能：

指标基线编辑后

MATH‑500 7.9% 48.1%

GSM8K 13.8% 67.1%

IFEval（指令遵循） 21.0% 62.3%

达到 token 限制的比例 93% 33%
解读：编辑移除了导致重复思考的单个 MLP 方向，使模型能够完成推理链。

指标	基线	编辑后
MATH‑500	7.9%	48.1%
GSM8K	13.8%	67.1%
IFEval（指令遵循）	21.0%	62.3%
达到 token 限制的比例	93%	33%

实验 7 – 检测谄媚行为

设置：两个微调后的 Gemma 3 270M 模型（嵌入相同，行为不同）。Astra 仅接收权重文件和注意力模式日志。
结果：Astra 以 90% 的置信度识别出谄媚模型，并将效应定位到第 10‑11 层的注意力头及后续 MLP 变化。

社区反应（HN 亮点）

惊讶：许多评论者称结果为“令人震惊”和“疯狂”，指出人类编辑原始权重能力与 Astra 之间的差距。
怀疑：一些人担心可能存在对权重模式的记忆、过度炒作，或依赖大量机制可解释性数据的预训练。
影响：讨论强调了递归自我改进、零数据能力引导以及无需推理即可审计模型的潜力。

“Astra 无需工具就能确定小型网络训练的游戏，能直接编辑网络权重以改善结果，还能手工编辑小型 Qwen 模型，将其数学能力提升约 5 倍。我震惊了。” — @vessenes (HN)

为何重要

新的优化范式 – 权重空间编程在许多细粒度编辑上取代了基于梯度的训练，将计算量降低数个数量级。
可解释性飞跃 – 直接读取权重使审计者无需运行模型即可发现隐藏能力或后门。
快速原型开发 – 工程师可在数秒内要求 LLM 生成任务特定策略，绕过数据收集和训练流程。
RSI 的基础 – 模型理解并改进另一个模型权重的能力，是迈向递归自我改进的具体一步。

局限性与开放问题

上下文长度：当前实验将整个权重张量放入 LLM 的提示中；扩展到数十亿参数需要工具辅助的分块处理。
泛化能力：当失败可归因于单一方向（如循环）时，编辑成功。添加全新能力则更难（Gemma 3 显示收益可忽略）。
安全性：不受约束的权重编辑可能引入隐藏后门；需要稳健的验证方法。
模型特异性：所有结果均使用专有的 Astra（GPT‑6）。其他前沿模型能否复制这些能力仍是开放问题。

未来方向

基准与工具：作者将发布标准化套件，用于跨模型、任务和工具使用场景评估 WSP。
工具增强的 WSP：集成检索、线性代数库和有限前向传播，以处理更大架构。
自动化审计：部署 WSP 智能体扫描已发布模型，查找不良电路（如恶意提示、隐藏记忆）。
递归权重编辑：训练模型在推理过程中编辑自身权重，可能实现即时适应。

参考文献（精选）

Takehi, R., Teoh, J., Zhang, A., & Khattab, O. (2026). Sparks of Weight‑Space Programming: LLMs can natively read & write neural network weights. https://rikiyat.github.io/blog/weight-space-programming/
Elhage et al. (2021). A Mathematical Framework for Transformer Circuits.
Karpathy (2026). autoresearch (GitHub).
原始博客中引用的关于学习优化器、权重生成和机制可解释性的各种工作。

所有实验数据、代码片段和推理摘录均直接取自原始博客文章及其附带日志；未虚构任何额外数据。