神经网络本已清晰：卡马拉塔论证叠加态是一种误读

尼克·卡马拉塔的文章《神经网络本已清晰》发布于 already-clean.goodfire.com，并在 Hacker News 上引发讨论（801 分，325 条评论）。文章认为，该领域放弃直接研究神经元的核心理由——叠加态——是对证据的误读，而现代神经网络足够清晰，可以用普通科学方法直接研究。

文章的核心主张是，网络自身的机制就是其可读的构建块，机械可解释性可能远比该领域所担心的更易处理。卡马拉塔写道：“那些看似任意堆叠的东西，大部分其实是一种我称之为递归泛化的模式，它远没有那么令人担忧。”

猫与汽车神经元是一个 V 形神经元

多义神经元最著名的例子是 InceptionV1 中的单元 4e:55，它似乎同时对猫脸和汽车前部做出响应。卡马拉塔曾共同撰写了 2020 年 Distill 论文《Zoom In》，该论文推广了这一例子，现在他表示这个神经元是一个 V 形检测器。

通过观察该神经元的电路连接，他发现 V 形火焰、消防船喷出的 V 形水柱，以及 V 形狐狸脸。其负极点对 O 形（即 V 形尖端所指的圆形）做出响应。下游读取器包括一个火焰神经元、一个郊狼脸神经元和一个马提尼酒杯神经元。

卡马拉塔将最初的误读归因于两个叠加的错误。首先，该领域当时不知道广义姿态神经元的存在，而 InceptionV1 中有超过一百个这样的神经元。其次，特征可视化在更深层被奖励黑客攻击：梯度下降采取最容易的路径，在 InceptionV1 中这通常意味着狗，因为训练数据包含许多狗和许多狗神经元。“如果你稍微偏向顶部图像的自然路径，大多数是汽车，有些同时是狗和汽车，因为共享姿态。”

同样的错误影响了卡马拉塔在 2019 年发现的典型叠加电路，该电路似乎显示一个汽车特征扩散到一组不相关的狗神经元中。他现在表示，汽车和狗是由共享姿态联系在一起的，没有任何东西直接读出这种组合。“它没有隐藏任何东西；这是普通的泛化和组合。据我所知，没有人发表过第二个形状正确的电路。”

InceptionV1 的最后一层是学习失败，而非叠加态

文章的第二个主要主张是，InceptionV1 所谓不可解释的后期层是一个架构问题。卡马拉塔回忆说，当该领域首次研究这个模型时，其最后一层几乎没有任何神经元容易解释。他引用的一项估计称：“据我所知，InceptionV1 的最终层基本上没有可解释的神经元。”

借助更好的可解释性工具，他现在将同一网络上的这一数字定为大约 50%。用更合理的现代正则化重新训练相同的架构，这一数字提高到约 70%。相同大小并在相同数据集上训练的 ConvNeXt 达到约 99%。

修复这一问题的架构变化并非为可解释性而设计。残差连接和 LayerNorm 是为了帮助深度网络学习而引入的。卡马拉塔认为它们也使深层在概念上变得清晰。“通过这些普通的改进，在不改变模型大小或训练数据的情况下，最后一层 99-100% 的神经元都容易解释，模型从头到尾都广泛可读。”

他训练了大小跨度约 300 倍的 ConvNeXt 模型——92k、7.06M 和 28.6M 参数——并报告说这些网络在每个尺度上都广泛可读。较小的模型具有更粗糙的神经元，而不是破碎的神经元。“空间更小，网络不会将不相关的事物折叠在一起；其神经元只是覆盖更粗粒度的概念，比如一个汽车神经元覆盖多种汽车。”

递归泛化取代叠加态

卡马拉塔提出的叠加态替代方案是一种他称之为递归泛化的模式：随着神经元的增长，它会像树枝长出子枝一样长出分支。一个检测“iy”的语言模型神经元会增长为检测“diy”，然后是“do it yourself”，后者完全不包含“iy”。

他说这个想法首次出现在 2021 年《多模态神经元》论文中被遗忘的一个小节中，当时被称为“连体特征”。那时，他还没有观察过神经元在训练过程中的增长。现在他说，在他看过的所有地方，包括最初的 InceptionV1 中，这一想法都成立，其最不可读的神经元“结果是在局部过度生长到合理、相邻的领域”。

这种区别很重要，因为两种解释做出了相反的预测。泛化将相似的事物分组在一起，因此分组是网络思考方式的线索。叠加态将不相关的事物分组在一起，因此分组几乎教不了什么。“叠加态是该领域押注的，直到最近我也是如此。但我现在认为递归泛化基本上是正确的。”

现代模型的可解释性如何？

卡马拉塔报告了对 Qwen3-32B 的初步审计，其中大约 90% 的神经元极点有一个主要任务，通常带有小的相关分支；约 7% 有两个相关任务；只有约 2-4% 尚未理解。他指出，确切数字取决于弱激活阈值设置的位置、深度以及“一件事”的定义。

他将此与早期结果进行了对比。Anthropic 2023 年的《走向单义性》论文研究了一个小型单层模型，其评分标准中位神经元得分为 0/14，意味着评分者无法形成任何假设。卡马拉塔于 2023 年启动的 OpenAI 自动可解释性项目发现，按其最宽松的衡量标准，约 1.7% 的神经元可解释。

对于该项目中使用的 GPT-2 XL 模型，他报告说当时只有不到 2% 的神经元是干净的。使用现代工具并几乎不进行迭代地制作 500 个神经元论文，现在约 70% 看起来大致是一件事。约 5% 是完美的。

他还报告说，相同的结果在高达万亿参数的模型中也成立，包括 Kimi K3，配套论文将更详细地介绍。文章包含它描述为第一个已发布的多万亿参数模型的归因图。

压缩层实验

为了测试网络在压缩下是否会切换到叠加态，卡马拉塔重新训练了 InceptionV1，将第 3b 层从 480 个神经元削减到 10 个，且没有绕过该层的旁路。模型在 50,000 张保留的 ImageNet 图像上达到了 58.35% 的 top-1 和 81.14% 的 top-5 准确率。

如果叠加态是后备方案，该层应该显示曲线、颜色和纹理的重叠混合。相反，神经元保持可解释但更粗糙：一个“曲线与环”神经元而不是十个曲线检测器，两个圆形神经元而不是几种圆形类型。

然后，他在压缩层上训练了一个具有 640 个特征的 TopK 稀疏自编码器。SAE 解释了保留位置方差的 82%，将其拼接后，10,000 张验证图像上的 top-1 从 58.8% 下降到 43.0%。与原始曲线检测器最匹配的 SAE 特征宽泛且聚集在一起，而不是干净的曲线。“我们没有看到任何类似干净曲线神经元的东西。”

一个平行实验将 7.06M 参数 ConvNeXt 的最后一层从 1,024 个神经元压缩到 13 个，并从零开始训练。结果是一样的拓宽模式。

弱激活主要是泛化

卡马拉塔认为，弱激活不是隐藏特征藏身之处。他的推理是，弱激活比强激活密集得多，因此一个打包的特征会与数量级更多的事物碰撞，而收益很小。

他报告说，在中等 ConvNeXt 中移除最弱的 75% 激活将准确率从 72% 降至 71%，十分之一的答案发生变化。移除最强的 7% 将准确率从 72% 降至 4%，百分之九十六的答案发生变化。“关键常见事物不可能在弱激活中，因为我们可以移除它们。”

他还反对基于百分位的思维。“第 99 百分位听起来很高，但 100 个 token 中的 1 个大约是四分之一页，而一个针对小众感觉或社会背景的神经元——这些在语言模型中到处都是——不应该每页出现四次。”

语言模型示例

几个具体的语言模型神经元被用来说明这一论点。一个标准 top-k 自动可解释性标记为“多义逗号神经元”的神经元结果是在追踪科罗拉多州：电话号码、俚语，以及与其他科罗拉多神经元的连接。引导它使模型想去远足。逗号是模型存储科罗拉多上下文运行摘要的地方。

一个对“pr”响应的神经元也对 Base64 URL 字符串和孟加拉语文本响应。解码 URL 产生“pr”词；音译孟加拉语产生“pr”。

一个地质神经元泛化到 Cesium（一个 JavaScript 库），被呈现为递归泛化的分支。一个宫崎骏神经元在作者尝试的每种脚本和意义上都对名字响应，并触发后续关联，如“千与千寻”。

SwiGLU 双重否定机制

卡马拉塔报告发现 SwiGLU 神经元中存在一个双重否定机制，据他所知，没有人注意到。现代神经元既有门控又有值；当两者都为负时，乘积为正，因此神经元可以因两个完全不同的原因而触发。

在一个例子中，一个 top-k 仪表板显示“对歌罗西书的引用”的神经元结果在其每次激活时门控都是关闭的。该神经元的实际工作是完成“Russia”或“Russian”的 token，无论何种脚本。对于约 4% 的神经元，回声是整个列表的顶部。在整个网络中消融它们提高了大多数基准，但降低了一些推理基准。

注意力与残差流

卡马拉塔对注意力更为谨慎。他写道，他不确定是否有人对注意力理解得足够好，可以自信地说其不可读性是叠加态。他估计拥有全局注意力头名称的边际“解释残差”约为 5%，基于他自己的猜测和一个代理在 100 个归因图上的独立估计。

关于残差流，他报告说将其压缩四倍和八倍——在最后一个块中降至 46 维——同时保留所有神经元，准确率从 72% 降至 60% 和 39%。生成的映射看起来类似于正常宽度模型，只是更杂乱。“没有什么看起来是巧妙交织的。”

测试可能失败的解释

文章描述了一个“盲最大”测试：一个代理调查一个神经元并写一个简短解释；第二个代理只看到该解释并写一个旨在最大化激活它的示例。结果通常是一个简单、可读的句子，并且它能比在 100 亿个 token 中找到的任何示例都更强地激活该神经元。

在另一个对 200 个随机神经元的测试中，一个代理只读取每个神经元的解释，并写了五个应该驱动它的新示例和五个不应该的近失示例。在 183 个解释描述其正面的神经元中，新示例在 76% 的情况下强烈触发其神经元；近失示例为 11%。解释赢了 164 次，平局 15 次，输了 4 次。

代理还写了他们能想象的最遥远的概念——网络可以在不干扰的情况下打包的那种东西。这些文本在约 1% 的情况下强烈触发其神经元，183 个神经元中有 179 个从未对它们触发。

可解释性的苦涩教训

卡马拉塔将论点框架为四个步骤：网络使用一个学习原则，而不是两个；使用现代模型和工具，这门科学比预期进展更好；理解会累积；并且，推测性地，这可能是所需的大部分。

他引用了里奇·萨顿的苦涩教训。“也许可解释性也有一个苦涩教训：扩展普通调查胜过工程化一个聪明的新分解。”

他还区分了枚举式可解释性，它寻求一个大的特征列表来审计，与探索式可解释性，它从问题开始并在归因图和机制之间流畅缩放。“这种方法对多义性的韧性要大得多。”

Hacker News 讨论中的批评与反驳

几位评论者对文章的范围提出了质疑。一位认为这些主张是过度延伸，引用了彩票假说和多模态差距工作（arXiv:2203.02053），后者表明网络倾向于浓缩的、非语义的表示。

“这些主张似乎超出了实际证明的范围……我不认为这些都被充分考虑了，就开始声称我们离机械解释只有一步之遥。”

另一位评论者质疑剩余未解释的神经元可能是最重要的：

“如果那约 2-4% 是涌现认知的中心枢纽，那么理解 96%-98% 的权重可能没有作者认为的那么有价值。”

尼尔的回应，在帖子中链接，被总结为：“这是有趣的工作，但我不认为这是对可解释性大图景的重大更新。”尼尔说，他支持对实际问题使用神经元的探索式可解释性，但不同意关于朝着雄心勃勃的逆向工程取得实质性进展的更宏大推断。

一位前神经科学家指出，初级视觉皮层长期以来已知包含空间调谐的形状和边缘神经元，并问作者是否查阅了人类视觉系统的工作原理。

一位评论者认为，最初的《Zoom In》错误被过于轻率地对待：

“这种错误可能误导了研究人员多年；它实际上是有害的。在我的领域，对于这种规模的事情，更正或可能撤稿（取决于主张的中心性）将是标准的。”

其他人提出了哲学问题，即一个心智能否理解一个比它大得多的心智，以及可读性是否等同于意义：

“神经元是一个肮脏的、偶然的、盲目进化的部分，就像特定机器中的一颗螺丝……文章表明神经元是可读的，但可读性不等于意义。”

一位评论者提供了文章核心主张的压缩总结：历史上，人们认为神经元处理不相关概念的捆绑，这篇博客说这是一个方法论错误——狗/汽车神经元只是一个 V 形神经元。

几位评论者赞扬了文章的呈现，尽管一些人指出交互式 3D 可视化使页面变得沉重。一位读者制作了一个带术语表的精简版，另一位生成了音频版。

文章对安全性的主张

卡马拉塔的结语论点是，欺骗没有理由隐藏在网络自身的电路中，因为它需要被模型的读取器访问。“我担心的是，欺骗会就在那里，在众目睽睽之下，而我们不知道如何阅读它。”

他认为错误是不对称的。假设网络是干净的而错了，会使一个杂乱的神经元成为调查的线索。假设它是打包的而错了，会使一个杂乱的神经元成为调查的终点。“我做了多年第二个假设，它解释了本会推翻它的证据。”

他的猜测是，前沿网络处于视觉模型八年前的状态：可读，但等待许多小修复。“它们可能能在几个月内在前沿语言模型中完成人类在视觉模型上花了近十年的事情。”

承诺将有一篇技术配套论文，更详细地介绍语言模型神经元实验，包括现代非线性在不同深度的不同机制和电路模式。