TransformerLensOrg/TransformerLens

它解决了什么问题

TransformerLens 解决了缺乏开源工具来逆向工程生成式语言模型在训练过程中学习到的内部算法的问题。虽然有许多工具可用于训练或使用模型，但很少有工具提供必要的设施来轻松检查和操作其内部权重和激活值。

运作方式

该库提供了一个桥梁，可以加载超过 140 个架构系列中的 15,000 多个开源语言模型。它公开了模型的内部激活值，允许研究人员在模型运行时缓存这些激活值，或使用函数来实时编辑、删除或替换它们。

适用对象

它专为从事机械可解释性的研究人员和开发人员而设计，使他们能够研究 Transformer 和其他架构（如 Mamba/SSMs）的内部运作方式，而无需庞大的计算资源或工业级基础设施。

特色亮点

• 广泛的模型支持：兼容于众多架构系列中的数千个模型，包括 GPT-2 风格模型以及对 Mamba-1 和 Mamba-2 的实验性支持。
• 激活值操作：能够缓存内部激活值并在模型的前向传递过程中对其进行修改。
• 研究就绪：专为促进对训练模型内学习到的算法进行逆向工程而构建。
• 集成：提供 TransformerBridge 以保持与 HuggingFace 权重的对等性，同时提供专门的可解释性工具。