权重空间编程:LLM 原生读写神经网络权重
前沿 LLM 展现出一种意想不到的能力,即能够原生读写神经网络权重以实现特定目标,研究人员将这种范式称为权重空间编程 (Weight-Space Programming)。这种方法允许模型解释原始权重矩阵的功能、诊断故障并进行针对性编辑,从而在无需传统基于梯度的训练的情况下提升性能。
读取神经网络权重
LLM 可以通过将神经网络的原始权重张量作为文本进行分析,从而推断其行为。在实验中,GPT-6 Astra 成功识别了小型策略网络所训练的具体游戏(例如 Breakout、Pong),尽管它事先并不了解游戏标签或环境反馈。通过检查第一层和最后一层权重的集中度,模型正确推导出了网络的空间逻辑,例如识别出 Breakout 中的球拍状结构。
这种能力延伸到了语言模型。当仅提供小型语言模型的中间 Transformer 块时,Astra 识别出了训练语言(Python、日语或英语),并准确地定位了负责复制行为的特定注意力头(归纳头),而无需在任何输入上运行这些模型。
写入和编辑权重
除了解释之外,LLM 还可以对神经网络进行“手术”。在一项实验中,Astra 被要求修复一个经过 PPO 训练的汽车智能体,该智能体在物理控制环境中无法越过坡道。通过分析一段记录的片段,模型识别出了该策略的故障模式并编辑了 3.5% 的权重,最终实现了 100% 的成功率。
同样,Astra 展示了从零开始编写功能性神经网络的能力。当给定 MinAtar 游戏的规则和架构规范时,模型生成的权重矩阵表现优于经过 1 亿步训练的 PPO 智能体。模型通过推理所需的逻辑(例如计算球的落点)并将该逻辑直接编码到权重结构中,实现了这一目标。
扩展至大型语言模型
权重空间编程在改进像 Qwen3.5-0.8B 这样的大型模型方面已取得成功。研究人员发现,该模型存在重复推理循环的问题,导致其达到 Token 限制。Astra 将此行为追溯到第 15 层和第 19 层中特定的 MLP 输出列。通过仅编辑 0.016% 的权重(131,072 个参数),该模型显著减少了循环,将 MATH-500 的准确率从 7.9% 提高到 48.1%,并将指令遵循基准测试的性能提升了 3 倍。
影响与未来方向
这种范式转移为 AI 工程带来了几个潜在的应用方向:
- 审计: 直接检查权重是否存在后门或隐藏行为,而无需大量的测试集。
- 高效优化: 在无需全量微调或重训练的计算成本的情况下,执行针对性的模型改进。
- 递归自我改进: 使模型能够调试和优化其自身架构或其他模型的架构。
- 架构移植: 通过转换权重空间逻辑,在具有不同架构的模型之间迁移特定能力(如推理模块)。
虽然目前的结果令人振奋,但研究人员指出该领域尚处于起步阶段。未来的工作将侧重于通过基准测试和工具集将这些能力标准化,从而将目前看起来像“黑魔法”的技术转化为可复现的工程学科。
Sources
相关
- 项目
- Dispatch
- Dispatch
- Dispatch
- Dispatch