线性规划可复现 Astra 对 Qwen3.5‑0.8B 的权重空间编辑

要点

线性规划(LP)可以取代 Astra 的试错搜索来编辑小型语言模型的权重,消除循环行为并提升数学性能,且仅需修改约 1% 的原始权重变化。


背景:权重空间编程

MIT CSAIL 的 《权重空间编程的火花》 表明,一个强大的 LLM(GPT‑6 Astra)能够:

  • 通过检查小型网络的原始权重来识别其训练所用的游戏。
  • 合成新网络的权重,其性能优于 PPO 训练的基线。
  • 编辑一个 0.8B 参数模型(Qwen3.5‑0.8B),将 MATH‑500 准确率从 7.9% 提升至 48.1%,且仅修改了 0.016% 的权重。

该编辑针对“思考循环”——重复的 token 生成导致 93% 的基础模型答案达到 32k token 限制。


原始编辑的工作原理

循环方向向量 (u)

Astra 生成配对文本(生产性 vs. 循环性),并记录所选层中每个 token 的残差流向量。平均循环向量与生产性向量之间的归一化差异定义了 (u),即循环期间残差流漂移的方向。

秩‑1 权重修改

每个 MLP 的输出矩阵 (W)(形状 (1024\times 3584))对残差流的贡献为 (W h = \sum_j h_j w_j)。Astra 将每个列 (w_j) 投影到 (u) 上,并减去一个倍数:

w_j ← w_j - α (uᵀ w_j) u

设置 (α=1) 移除 (u) 分量;(α=6) 则翻转它,推动模型远离循环。整体变化是一个 秩‑1 矩阵 (ΔW = u vᵀ),其中 (v_j = -α (uᵀ w_j))。

Astra 通过试错探索了许多 (α) 和列选择策略,最终编辑了第 15 层和第 19 层中具有最大 (|uᵀ w_j|) 的 64 列(α=6)。这需要 约 8 小时 的前向传播。


将搜索重新表述为线性规划

在 token (t) 处添加到残差流的推动是 (v·h_t),对 (v) 是线性的。为了使循环 token 远离 (u),同时保持生产性 token 不受影响,我们可以施加线性约束:

for t in R (循环):   v·h_t ≤ -δ
for t in P (生产性): |v·h_t| ≤ ε

目标是最小化 L1 范数 (∑|v_j|),鼓励稀疏性。松弛变量处理不可行的约束。

求解此 LP 产生一个稀疏的 (v),自动选择要编辑的列和适当的缩放因子,无需穷举试错。


实证结果

在保留的基准上评估了两种基于 LP 的编辑(未使用调优数据):

编辑 修改的权重 GSM8K MATH‑500 IFEval
基础模型 0 14.1 7.0 22.9
Astra 的编辑 130,188 68.2 50.9 61.9
LP,Astra 的方向 16,291 69.6 51.7 59.7
LP,启发式方向* 16,271 65.4 47.8 60.4

*启发式方向 = 自动检测的循环 token 与生产性 token 之间的平均残差流差异(无 LLM)。

关键观察

  • 使用 Astra 的 (u) 的 LP 在所有指标上匹配或略微超过 Astra 的编辑,同时编辑的权重 少 8 倍。
  • 简单的启发式方向实现了约 93% 的增益,表明 LP 框架即使没有 LLM 生成的 (u) 也能工作。
  • LP 选择了一组不同的列(每层仅 8 个),但实现了沿 (u) 的相同整体推动。
  • 随机方向没有产生改进,确认线性约束是必不可少的。

作为替代传递机制的引导向量

由于 LP 选择的列在约 89% 的 token 上活跃,产生的编辑几乎表现为沿 (u) 的 恒定推动。在推理时直接将此常数添加到残差流(一个 引导向量)重现了大部分收益:

引导强度 开发集准确率
0.5× 51.6
1× 57.8
2× 31.2

在 1× 强度下,引导向量恢复了完整的修复;较弱的推动让循环返回,而较强的推动则破坏推理。

权衡:引导向量需要额外的推理时代码,而 LP 编辑是静态检查点。


局限性与未来工作

  • 模型范围:实验仅限于 Qwen3.5‑0.8B;其他架构可能需要不同的层或方向。
  • 方向发现:当前最佳结果仍依赖 Astra 的 (u)。自动化 (u) 提取(例如,通过无监督残差流分析)仍然是一个开放问题。
  • 约束相关性:对于循环,恒定推动就足够了,因此逐 token 约束的影响有限。更细微的行为(例如,选择性拒绝)将更好地测试 LP 的细粒度控制。
  • 更广泛的行为:相同的 LP 公式可以针对其他可引导的方向(拒绝、谄媚等),但实证验证尚待进行。

社区见解

“如果 LP 求解器是编辑权重的有用工具,那么 Astra 获得这种方法可能会使其在权重编辑方面更有效……求解器可以绕过耗时的试错,更直接地表达意图。” – jsw97,Hacker News 评论

“我们之所以满足于次优解决方案,是因为我们过于依赖 LLM;像 LP 这样的经典数值分析可以产生更好、更快的修复。” – rbnafo,Hacker News 评论

这些评论呼应了论文的核心主张:经典优化可以取代昂贵的 LLM 驱动的权重空间干预搜索。


可复现性

所有代码、权重编辑和完整文章均可在作者的 GitHub 仓库获取:https://github.com/nathanrs/weight-space-lp。


引用

Barry, Nathan. "Can a Linear Program Do Weight‑Space Programming?"
 nathan.rs (Nov 2026). https://nathan.rs/posts/weight-space-lp.

Sources

関連

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch