线性规划可复现 Astra 对 Qwen3.5‑0.8B 的权重空间编辑
要点
线性规划(LP)可以替代 Astra 的试错搜索来编辑小型语言模型的权重,消除循环行为并提升数学性能,且仅需修改约 1% 的原始权重变更量。
背景:权重空间编程
MIT CSAIL 的 《权重空间编程的火花》 表明,一个强大的 LLM(GPT‑6 Astra)能够:
- 通过检查小型网络的原始权重,识别其训练所用的游戏。
- 合成新网络的权重,使其性能超越 PPO 训练的基线。
- 编辑一个 0.8B 参数模型(Qwen3.5‑0.8B),仅修改 0.016% 的权重,便将 MATH‑500 准确率从 7.9% 提升至 48.1%。
该编辑针对“思考循环”——即重复的 token 生成,导致 93% 的基础模型回答触及 32k token 上限。
原始编辑的工作原理
循环方向向量 (u)
Astra 生成成对文本(高效 vs. 循环),并记录每个 token 在选定层的残差流向量。平均循环向量与高效向量之间的归一化差异定义了 (u),即循环期间残差流漂移的方向。
秩一权重修改
每个 MLP 的输出矩阵 (W)(形状 (1024\times 3584))对残差流的贡献为 (W h = \sum_j h_j w_j)。Astra 将每一列 (w_j) 投影到 (u) 上,并减去一个倍数:
w_j ← w_j - α (uᵀ w_j) u
设置 (α=1) 可移除 (u) 分量;(α=6) 则将其翻转,推动模型远离循环。整体变化是一个 秩一 矩阵 (ΔW = u vᵀ),其中 (v_j = -α (uᵀ w_j))。
Astra 通过试错探索了多种 (α) 和列选择策略,最终编辑了第 15 层和第 19 层中 (|uᵀ w_j|) 最大的 64 列(α=6)。这需要 约 8 小时 的前向传播。
将搜索重构为线性规划
在 token (t) 处添加到残差流的推动量为 (v·h_t),对 (v) 是线性的。为了使循环 token 远离 (u),同时保持高效 token 不受影响,我们可以施加线性约束:
for t in R (循环): v·h_t ≤ -δ
for t in P (高效): |v·h_t| ≤ ε
目标是最小化 L1 范数 (∑|v_j|),鼓励稀疏性。松弛变量处理不可行的约束。
求解此 LP 得到一个稀疏的 (v),自动选择要编辑的列和适当的缩放因子,无需进行穷举试错。
实证结果
在保留的基准上评估了两种基于 LP 的编辑(未使用调优数据):
| 编辑 | 修改的权重数 | GSM8K | MATH‑500 | IFEval |
|---|---|---|---|---|
| 基础模型 | 0 | 14.1 | 7.0 | 22.9 |
| Astra 的编辑 | 130,188 | 68.2 | 50.9 | 61.9 |
| LP,Astra 的方向 | 16,291 | 69.6 | 51.7 | 59.7 |
| LP,启发式方向* | 16,271 | 65.4 | 47.8 | 60.4 |
*启发式方向 = 自动检测的循环 token 与高效 token 之间的平均残差流差异(无需 LLM)。
关键观察
- 使用 Astra 的 (u) 的 LP 在所有指标上匹配或略微超过 Astra 的编辑,同时修改的权重数 减少了 8 倍。
- 简单的启发式方向实现了约 93% 的增益,表明 LP 框架即使没有 LLM 生成的 (u) 也能工作。
- LP 选择了不同的列集(每层仅 8 列),但实现了沿 (u) 的相同整体推动。
- 随机方向没有产生改进,确认了线性约束的必要性。
转向向量作为替代传递机制
由于 LP 选择的列在约 89% 的 token 上处于激活状态,由此产生的编辑几乎等同于沿 (u) 的 恒定推动。在推理时直接将该常数添加到残差流中(即 转向向量)可重现大部分收益:
| 转向强度 | 开发集准确率 |
|---|---|
| 0.5× | 51.6 |
| 1× | 57.8 |
| 2× | 31.2 |
在 1× 强度下,转向向量完全恢复了修复效果;较弱的推动会让循环回归,而较强的推动会干扰推理。
权衡:转向向量需要额外的推理时代码,而 LP 编辑是静态检查点。
局限性与未来工作
- 模型范围:实验仅限于 Qwen3.5‑0.8B;其他架构可能需要不同的层或方向。
- 方向发现:当前最佳结果仍依赖 Astra 的 (u)。自动化 (u) 提取(例如,通过无监督残差流分析)仍是一个开放问题。
- 约束相关性:对于循环行为,恒定推动已足够,因此逐 token 约束的影响有限。更细微的行为(例如,选择性拒绝)将更好地测试 LP 的细粒度控制。
- 更广泛的行为:相同的 LP 公式可以针对其他可转向的方向(拒绝、谄媚等),但实证验证尚待进行。
社区见解
“如果 LP 求解器是编辑权重的有用工具,那么 Astra 获得这种方法可能会使其在权重编辑上更有效……求解器省去了耗时的试错,更直接地表达了意图。” – jsw97,Hacker News 评论
“我们之所以满足于次优解决方案,是因为我们过于依赖 LLM;像 LP 这样的经典数值分析可以产生更好、更快的修复。” – rbnafo,Hacker News 评论
这些评论呼应了论文的核心主张:经典优化可以取代成本高昂的 LLM 驱动的权重空间干预搜索。
可复现性
所有代码、权重编辑和完整文章均可在作者的 GitHub 仓库中获取:https://github.com/nathanrs/weight-space-lp。
引用
Barry, Nathan. "Can a Linear Program Do Weight‑Space Programming?"
nathan.rs (Nov 2026). https://nathan.rs/posts/weight-space-lp.
Sources
相关
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch