hijohnnylin/neuronpedia

open source interpretability platform 🧠

何を解決するか

Neuronpedia は、ニューラルネットワークの内部動作を理解するのを支援するオープンソースの解釈性プラットフォームです。スパース自己符号化器（SAE）やその他のモデル活性化の特徴を探索・分析・解釈するための中央集権的なハブを提供します。

動作方法

このプラットフォームは、ローカルまたはクラウドで実行可能なスタンドアロンサービスのセットとして動作します。機械的解釈性のための複数の専門ツールを統合しています：

  • 推論サーバー：vLLM や PyTorch などのバックエンドをサポートし、モデル実行、活性化テスト、方向制御を処理します。
  • Autointerp サーバー：EleutherAI の Delphi を使用して、ニューラルネットワークの特徴について自動的に説明を生成し、スコアを付与します。
  • グラフサーバー：circuit-tracer を基盤として、情報がモデルの回路を通じてどのように流れているかを可視化する属性グラフを生成します。
  • Webアプリ：ダッシュボード、検索機能（自然言語説明の意味検索に pgvector を使用）、データのエクスポート/アップロードツールを提供するフロントエンドとAPIです。

対象ユーザー

AI安全研究者、機械的解釈性の実践者、およびLLMの内部表現を分析したい開発者に主に向けられています。

主な特徴

  • 包括的なツールセット：方向制御、活性化、回路/グラフ、ジャコビアンレンズのサポートを含みます。
  • 意味検索：自然言語による説明の意味に基づいて特徴を検索できます。
  • 自動解釈：特徴の自動解釈とスコアリングを統合し、分析プロセスを高速化します。
  • 拡張可能なアーキテクチャ：Hugging Face および SAELens 統合を通じて、カスタム SAE やモデルの追加をサポートします。

関連

  • Dispatch
    Anthropic、LLMの解釈可能性のための回路トレースツールをオープンソース化

    Anthropicは、アトリビューショングラフを生成するためのオープンソースライブラリとインタラクティブなフロントエンドをリリースし、研究者が大規模言語モデルの内部的な意思決定プロセスをトレースすることを可能にしました。

  • プロジェクト
    omnimind-ai/OmniInfer

    OmniInferは、シンプルなCLIとOpenAI互換のHTTPサーバーを介して、LLMおよび視覚言語モデルをローカルに実行できるクロスプラットフォーム推論エンジンです。多くのバックエンド（llama.cpp、MLX、MNNなど）をサポートし、デスクトップ、Android、iOSで動作し、ハードウェア対応の最適化とチャット用のターミナルUIを提供します。

  • Dispatch
    Anthropic Interpretability Research Overview

    Anthropicの解釈可能性（Interpretability）チームは、AIの安全性を確立するための基盤を構築し、有害な行動を防ぐために、大規模言語モデルの内部的な仕組みの理解に焦点を当てています。

  • プロジェクト
    TransformerLensOrg/TransformerLens

    生成AIモデルの内部アクティベーションを検査・操作することで、そのアルゴリズムをリバースエンジニアリングできる機械論的可解釈性のためのライブラリ。

  • プロジェクト
    open-webui/open-webui

    Open WebUI は、任意のOpenAI互換APIおよびローカルのOllamaモデルと連携できるオープンソースで自己ホスト可能なLLM用Webインターフェースです。チャット、ノート、チャンネル、カレンダー、音声/動画通話、画像生成などの豊富なUI、拡張可能なプラグインシステム、RBAC、マルチモデル対応、組み込みRAG（ベクトルDB、ウェブ検索）、エージェントがコードを実行できる「Open Terminal」、およびLDAP/SSO、SCIMプロビジョニング、オブザーバビリティなどのエンタープライズ機能を提供します。pip、Docker（CPU/GPU、バンドルOllama）、Kubernetesでインストール可能。エコシステムにはデスクトップアプリ、モバイル最適化のコーディングエージェント、外部知識ベースの同期ツールが含まれます。