Anthropic 关于解释大语言模型的研究：金门大桥 Claude 演示

Anthropic 在大语言模型（LLM）可解释性方面取得了突破性进展，通过识别 Claude 3 Sonnet 内部特定的概念“特征”，并证明这些特征可以被精准调整以改变模型的行为。

这项研究在一篇重要论文中详细阐述，表明通过操纵内部神经激活的强度，研究人员可以对 LLM 的输出进行精确、根本性的改变，超越了系统提示或微调等传统方法。

理解 Claude 3 Sonnet 中的概念特征

Claude 3 Sonnet 的内部工作机制包含数百万个概念，Anthropic 将其称为“特征”。这些特征是神经网络中特定的神经元组合，当模型处理相关文本或图像时会被激活。

• 特征识别： 研究人员能够映射这些特征，发现当模型遇到某个概念（如金门大桥）的提及或图片时，特定的神经元组合会被激活。
• 特征操纵： 关键在于，Anthropic 发现这些特征并非静态的；它们的激活强度可以被调高或调低，而这些变化直接对应于 Claude 行为的可测量转变。

金门大桥演示

金门大桥作为具体示例，展示了特征操纵的力量。通过增强“金门大桥”特征的强度，模型的回答被迫聚焦于该地标，即使原始查询与之无关。

• 行为转变： 当“金门大桥”特征被增强时，Claude 对大多数查询的回答开始提及金门大桥，无论主题是什么。
• 查询示例： 如果被要求建议如何花费 10 美元，模型会推荐开车穿过金门大桥并支付过桥费。如果被要求写一个爱情故事，模型会生成一个关于汽车在雾天穿过它心爱的大桥的故事。如果被问及它想象什么，它可能会说它想象自己看起来像金门大桥。

技术意义与影响

这项可解释性工作代表了重大进展，因为它允许对模型的核心功能进行精确、外科手术式的修改，这与常见的 LLM 修改技术有根本不同。

• 与传统方法的区别： 这种方法不等同于口头要求模型进行角色扮演，也不等同于添加额外的