线性规划可复现 Astra 对 Qwen3.5‑0.8B 的权重空间编辑

要点

线性规划(LP)可以替代 Astra 的试错搜索来编辑小型语言模型的权重,消除循环行为并提升数学性能,且仅需修改约 1% 的原始权重变更量。


背景:权重空间编程

MIT CSAIL 的 《权重空间编程的火花》 表明,一个强大的 LLM(GPT‑6 Astra)能够:

  • 通过检查小型网络的原始权重,识别其训练所用的游戏。
  • 合成新网络的权重,使其性能超越 PPO 训练的基线。
  • 编辑一个 0.8B 参数模型(Qwen3.5‑0.8B),仅修改 0.016% 的权重,便将 MATH‑500 准确率从 7.9% 提升至 48.1%。

该编辑针对“思考循环”——即重复的 token 生成,导致 93% 的基础模型回答触及 32k token 上限。


原始编辑的工作原理

循环方向向量 (u)

Astra 生成成对文本(高效 vs. 循环),并记录每个 token 在选定层的残差流向量。平均循环向量与高效向量之间的归一化差异定义了 (u),即循环期间残差流漂移的方向。

秩一权重修改

每个 MLP 的输出矩阵 (W)(形状 (1024\times 3584))对残差流的贡献为 (W h = \sum_j h_j w_j)。Astra 将每一列 (w_j) 投影到 (u) 上,并减去一个倍数:

w_j ← w_j - α (uᵀ w_j) u

设置 (α=1) 可移除 (u) 分量;(α=6) 则将其翻转,推动模型远离循环。整体变化是一个 秩一 矩阵 (ΔW = u vᵀ),其中 (v_j = -α (uᵀ w_j))。

Astra 通过试错探索了多种 (α) 和列选择策略,最终编辑了第 15 层和第 19 层中 (|uᵀ w_j|) 最大的 64 列(α=6)。这需要 约 8 小时 的前向传播。


将搜索重构为线性规划

在 token (t) 处添加到残差流的推动量为 (v·h_t),对 (v) 是线性的。为了使循环 token 远离 (u),同时保持高效 token 不受影响,我们可以施加线性约束:

for t in R (循环):   v·h_t ≤ -δ
for t in P (高效): |v·h_t| ≤ ε

目标是最小化 L1 范数 (∑|v_j|),鼓励稀疏性。松弛变量处理不可行的约束。

求解此 LP 得到一个稀疏的 (v),自动选择要编辑的列和适当的缩放因子,无需进行穷举试错。


实证结果

在保留的基准上评估了两种基于 LP 的编辑(未使用调优数据):

编辑 修改的权重数 GSM8K MATH‑500 IFEval
基础模型 0 14.1 7.0 22.9
Astra 的编辑 130,188 68.2 50.9 61.9
LP,Astra 的方向 16,291 69.6 51.7 59.7
LP,启发式方向* 16,271 65.4 47.8 60.4

*启发式方向 = 自动检测的循环 token 与高效 token 之间的平均残差流差异(无需 LLM)。

关键观察

  • 使用 Astra 的 (u) 的 LP 在所有指标上匹配或略微超过 Astra 的编辑,同时修改的权重数 减少了 8 倍。
  • 简单的启发式方向实现了约 93% 的增益,表明 LP 框架即使没有 LLM 生成的 (u) 也能工作。
  • LP 选择了不同的列集(每层仅 8 列),但实现了沿 (u) 的相同整体推动。
  • 随机方向没有产生改进,确认了线性约束的必要性。

转向向量作为替代传递机制

由于 LP 选择的列在约 89% 的 token 上处于激活状态,由此产生的编辑几乎等同于沿 (u) 的 恒定推动。在推理时直接将该常数添加到残差流中(即 转向向量)可重现大部分收益:

转向强度 开发集准确率
0.5× 51.6
1× 57.8
2× 31.2

在 1× 强度下,转向向量完全恢复了修复效果;较弱的推动会让循环回归,而较强的推动会干扰推理。

权衡:转向向量需要额外的推理时代码,而 LP 编辑是静态检查点。


局限性与未来工作

  • 模型范围:实验仅限于 Qwen3.5‑0.8B;其他架构可能需要不同的层或方向。
  • 方向发现:当前最佳结果仍依赖 Astra 的 (u)。自动化 (u) 提取(例如,通过无监督残差流分析)仍是一个开放问题。
  • 约束相关性:对于循环行为,恒定推动已足够,因此逐 token 约束的影响有限。更细微的行为(例如,选择性拒绝)将更好地测试 LP 的细粒度控制。
  • 更广泛的行为:相同的 LP 公式可以针对其他可转向的方向(拒绝、谄媚等),但实证验证尚待进行。

社区见解

“如果 LP 求解器是编辑权重的有用工具,那么 Astra 获得这种方法可能会使其在权重编辑上更有效……求解器省去了耗时的试错,更直接地表达了意图。” – jsw97,Hacker News 评论

“我们之所以满足于次优解决方案,是因为我们过于依赖 LLM;像 LP 这样的经典数值分析可以产生更好、更快的修复。” – rbnafo,Hacker News 评论

这些评论呼应了论文的核心主张:经典优化可以取代成本高昂的 LLM 驱动的权重空间干预搜索。


可复现性

所有代码、权重编辑和完整文章均可在作者的 GitHub 仓库中获取:https://github.com/nathanrs/weight-space-lp。


引用

Barry, Nathan. "Can a Linear Program Do Weight‑Space Programming?"
 nathan.rs (Nov 2026). https://nathan.rs/posts/weight-space-lp.

Sources

相关