WeZZard/jlens-qwen36

解决的问题

提供一种方法来可视化和干预本地LLM（具体为Qwen3.6-27B）的内部“思考”（潜在表示）。用户可以查看模型在每个层和每个令牌位置处理哪些概念，即使这些概念没有明确出现在最终输出中。

工作原理

该项目实现了雅可比透镜，将模型的内部残差流映射到最终层基，以预测令牌分数。为了在Apple Silicon上高效计算，它包含一个针对Gated DeltaNet（GDN）层的自定义Metal反向内核，使得全深度透镜的拟合速度显著快于标准替代方案。

目标用户

使用Apple Silicon Mac的研究人员和开发人员，希望针对Qwen3.6架构模型进行机制可解释性和内部状态操作。

亮点

• 可视化调试器：一个网格界面，显示每一层和每个位置的顶部预测令牌。
• 内部状态干预：手动编辑内部“思考”（替换、添加、删除、擦除）以改变模型输出的能力。
• 反向搜索：搜索使模型生成特定期望单词所需的内部编辑的功能。
• 硬件优化：通过自定义内核，专门针对MLX和Apple Silicon进行调优，实现高性能。