TransformerLensOrg/TransformerLens

解決する課題

TransformerLens は、生成AIモデルが学習中に獲得した内部アルゴリズムをリバースエンジニアリングするためのオープンソースツールが不足しているという課題を解決します。モデルの学習や利用のためのツールは数多く存在しますが、内部の重みやアクティベーションを容易に検査・操作するためのインフラを提供するものはほとんどありません。

仕組み

このライブラリは、140以上のアーキテクチャファミリーにわたる15,000以上のオープンソース言語モデルを読み込むためのブリッジを提供します。モデルの内部アクティベーションを公開しており、研究者はモデルの実行中にこれらのアクティベーションをキャッシュしたり、関数を使用してリアルタイムで編集、削除、置換したりすることができます。

対象ユーザー

機械論的可解釈性を実践する研究者や開発者向けに設計されており、膨大な計算リソースや産業レベルのインフラを必要とせずに、Transformerやその他のアーキテクチャ（Mamba/SSMsなど）が内部でどのように機能しているかを研究できるようにします。

主な特徴

• 幅広いモデルサポート: GPT-2 スタイルのモデルや Mamba-1 および Mamba-2 への実験的サポートを含む、多数のアーキテクチャファミリーにわたる数千のモデルと互換性があります。
• アクティベーション操作: 内部アクティベーションをキャッシュし、モデルのフォワードパス中にそれらを変更する機能。
• 研究向け: 学習済みモデル内の学習済みアルゴリズムのリバースエンジニアリングを促進するために特別に構築されています。
• 統合: TransformerBridge を提供し、HuggingFace の重みとの互換性を維持しながら、専門的な可解釈性ツールを提供します。