hijohnnylin/neuronpedia

open source interpretability platform 🧠

解决的问题

Neuronpedia 是一个开源的可解释性平台，旨在帮助研究人员和开发者理解神经网络的内部工作机制。它提供了一个集中式枢纽，用于探索、分析和解释稀疏自编码器（SAE）及其他模型激活的特征。

如何工作

该平台作为一系列独立服务运行，可在本地或云端部署。它集成了多个用于机制可解释性的专用工具：

  • 推理服务器：处理模型执行，支持 vLLM 和 PyTorch 等后端，用于激活测试和方向控制。
  • Autointerp 服务器：使用 EleutherAI 的 Delphi 自动为神经网络特征生成解释和评分。
  • 图服务器：基于 circuit-tracer，生成归因图以可视化信息如何在模型电路中流动。
  • Webapp：提供前端和 API，包含仪表板、搜索功能（使用 pgvector 实现解释的语义搜索）以及数据导出/上传工具。

适用人群

主要面向 AI 安全研究人员、机制可解释性实践者以及希望分析大语言模型内部表示的开发者。

主要亮点

  • 全面的工具集：支持方向控制、激活、电路/图、雅可比透镜等功能。
  • 语义搜索：允许用户根据自然语言解释的含义搜索特征。
  • 自动解释：集成特征的自动解释与评分，加速分析流程。
  • 可扩展架构：通过 Hugging Face 和 SAELens 集成，支持添加自定义 SAE 和模型。

相关

  • Dispatch
    Anthropic 开源用于 LLM 可解释性的电路追踪工具

    Anthropic 发布了一个开源库和一个交互式前端来生成归因图，允许研究人员追踪大语言模型的内部决策过程。

  • 项目
    omnimind-ai/OmniInfer

    OmniInfer 是一个跨平台推理引擎，通过简单的 CLI 和兼容 OpenAI 的 HTTP 服务器在本地运行 LLM 和视觉语言模型。它支持多种后端（llama.cpp、MLX、MNN 等），可在桌面、Android 和 iOS 上运行，并提供硬件感知优化和用于聊天的终端 UI。

  • Dispatch
    Anthropic 可解释性研究概览

    Anthropic 的可解释性团队专注于理解大型语言模型的内部运作，以建立人工智能安全的基础并防止有害行为。

  • 项目
    TransformerLensOrg/TransformerLens

    一个用于机械可解释性的库，允许研究人员通过检查和操作生成式语言模型的内部激活值来对其进行逆向工程。

  • 项目
    open-webui/open-webui

    Open WebUI 是一个开源、自托管的 LLM Web 界面，支持任何 OpenAI 兼容 API 和本地 Ollama 模型。它提供丰富的 UI（聊天、笔记、频道、日历、语音/视频、图像生成）、可扩展的插件系统、RBAC、多模型支持、内置 RAG（向量数据库、网络搜索）、代理执行代码的“Open Terminal”，以及企业级功能如 LDAP/SSO、SCIM 配置和可观测性。可通过 pip、Docker（CPU/GPU，内置 Ollama）或 Kubernetes 安装。生态系统包括桌面应用、面向移动的编码代理和用于同步外部知识库的工具。