hijohnnylin/neuronpedia

open source interpretability platform 🧠

해결하는 문제

Neuronpedia는 연구자와 개발자가 신경망의 내부 동작을 이해하는 데 도움을 주는 오픈소스 해석성 플랫폼입니다. 스파스 오토인코더(SAE) 및 기타 모델 활성화의 특징을 탐색, 분석, 해석할 수 있는 중앙 집중형 허브를 제공합니다.

작동 방식

이 플랫폼은 로컬 또는 클라우드에서 독립적으로 실행할 수 있는 여러 서비스로 구성되어 있습니다. 기계적 해석성에 특화된 여러 도구를 통합하고 있습니다:

  • 추론 서버: vLLM 및 PyTorch와 같은 백엔드를 지원하여 모델 실행, 활성화 테스트 및 방향 조절을 처리합니다.
  • Autointerp 서버: EleutherAI의 Delphi를 사용해 신경망 특징에 대해 자동으로 설명을 생성하고 점수를 매깁니다.
  • 그래프 서버: circuit-tracer 기반으로 정보가 모델의 회로를 통해 어떻게 흐르는지 시각화하는 할당 그래프를 생성합니다.
  • 웹앱: 대시보드, 검색 기능(설명의 의미 검색에 pgvector 사용), 데이터 내보내기/업로드 도구를 제공하는 프론트엔드 및 API입니다.

대상 사용자

AI 안전 연구자, 기계적 해석성 전문가, 그리고 LLM의 내부 표현을 분석하고자 하는 개발자에게 주로 적합합니다.

주요 특징

  • 포괄적인 도구 세트: 방향 조절, 활성화, 회로/그래프, 자이아코비안 렌즈 지원 포함.
  • 의미 기반 검색: 자연어 설명의 의미에 기반해 특징을 검색할 수 있습니다.
  • 자동 해석: 특징의 자동 해석과 점수 매기기를 통합하여 분석 속도를 높입니다.
  • 확장 가능한 아키텍처: Hugging Face 및 SAELens 통합을 통해 사용자 정의 SAE 및 모델 추가를 지원합니다.

관련

  • Dispatch
    Anthropic, LLM 해석 가능성을 위한 회로 추적 도구 오픈 소스 공개

    Anthropic은 어트리뷰션 그래프를 생성하는 오픈 소스 라이브러리와 대화형 프론트엔드를 출시하여, 연구자들이 대규모 언어 모델의 내부 의사결정 과정을 추적할 수 있도록 했습니다.

  • 프로젝트
    omnimind-ai/OmniInfer

    OmniInfer는 간단한 CLI와 OpenAI 호환 HTTP 서버를 통해 LLM 및 비전-언어 모델을 로컬에서 실행할 수 있는 크로스 플랫폼 추론 엔진입니다. 여러 백엔드(llama.cpp, MLX, MNN 등)를 지원하며 데스크톱, Android, iOS에서 작동하고 하드웨어 인식 최적화와 채팅용 터미널 UI를 제공합니다.

  • Dispatch
    Anthropic 해석 가능성 연구 개요

    Anthropic의 Interpretability 팀은 AI 안전성을 확립하고 유해한 행동을 방지하기 위해 대규모 언어 모델의 내부 작동 방식을 이해하는 데 집중하고 있습니다.

  • 프로젝트
    TransformerLensOrg/TransformerLens

    생성형 언어 모델의 내부 활성화 값을 검사하고 조작하여 모델의 알고리즘을 역공학할 수 있도록 돕는 기계론적 해석 가능성 라이브러리.

  • 프로젝트
    open-webui/open-webui

    Open WebUI는 OpenAI 호환 API와 로컬 Ollama 모델 모두와 호환되는 오픈소스이며 자체 호스팅 가능한 LLM용 웹 인터페이스입니다. 채팅, 노트, 채널, 캘린더, 음성/영상 통화, 이미지 생성 등의 풍부한 UI, 확장 가능한 플러그인 시스템, RBAC, 다중 모델 지원, 내장 RAG(벡터 DB, 웹 검색), 에이전트가 코드를 실행할 수 있는 "Open Terminal", 그리고 LDAP/SSO, SCIM 프로비저닝, 관측성 등의 엔터프라이즈 기능을 제공합니다. pip, Docker(CPU/GPU, 포함된 Ollama), Kubernetes로 설치 가능합니다. 생태계에는 데스크톱 앱, 모바일 우선의 코딩 에이전트, 외부 지식 기반 동기화 도구가 포함되어 있습니다.