openai/circuit_sparsity
Open-source release accompanying Gao et al. 2025
해결하는 문제
이 프로젝트는 스parse 회로 모델을 검사하고 시각화할 수 있는 도구를 제공하여, 연구자들이 특정 작업을 수행하기 위해 필요한 최소한의 구성 요소(회로)를 식별함으로써 신경망이 어떻게 특정 작업을 수행하는지 이해하는 데 도움을 줍니다.
작동 방식
이 프로젝트는 추론을 위한 가벼운 GPT 아키텍처와 Streamlit 기반 대시보드를 구현합니다. 시각화 도구는 원격 블롭 스토어에서 회로 마스크, 활성화 데이터, 중요도 데이터를 로드하여, 사용자가 프리닝 스위프트와 노드 예산의 변화가 모델 동작에 미치는 영향을 인터랙티브하게 탐색할 수 있도록 합니다.
대상 사용자
기계적 해석 가능성과 신경망 내 스parse 회로 연구에 관심이 있는 연구자 및 개발자.
주요 기능
- Plotly로 렌더링된 플롯을 사용한 인터랙티브 Streamlit 대시보드로 회로 탐색 가능.
- CPU/GPU 추론에 최적화된 가벼운 GPT 구현.
csp_yolo및csp_bridge변형 포함된 공개 모델 및 프리닝 스위프트 데이터에 접근 가능.- 훅을 통한 활성화 기록 및 캐시된 데이터 아티팩트 관리를 위한 내장 유틸리티.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트