WeZZard/jlens-qwen36

解決する問題

ローカルのLLM（具体的にはQwen3.6-27B）の内部の「思考」（潜在表現）を可視化し、介入する方法を提供します。ユーザーは、モデルが各層と各トークン位置でどの概念を処理しているかを、最終出力に明示的に現れない場合でも確認できます。

仕組み

このプロジェクトはヤコビアンレンズを実装しており、モデルの内部残差ストリームを最終層の基底にマッピングしてトークンスコアを予測します。Apple Silicon上で計算を効率的に行うため、Gated DeltaNet（GDN）層用のカスタムMetalバックワードカーネルを含み、標準的な代替手段よりも大幅に高速にフルデプスレンズのフィッティングを可能にします。

対象ユーザー

Apple Silicon Macを使用する研究者や開発者で、Qwen3.6アーキテクチャモデルにおけるメカニスティック解釈可能性や内部状態の操作を行いたい方々向けです。

ハイライト

• ビジュアルデバッガー: 各層と各位置におけるトップ予測トークンを表示するグリッドインターフェース。
• 内部状態への介入: 内部の「思考」を手動で編集（置換、追加、削除、消去）してモデルの出力を変更する機能。
• バックワード検索: モデルが特定の望ましい単語を生成するために必要な内部編集を検索する機能。
• ハードウェア最適化: カスタムカーネルにより、MLXとApple Silicon向けに特別に調整され、高性能を実現。