JShollaj/awesome-llm-interpretability

해결하는 문제

이 프로젝트는 대규모 언어 모델(LLM)의 '블랙박스' 특성을 다룹니다. 이러한 모델은 매우 복잡하기 때문에 특정 결정을 내리는 이유, 지식을 저장하는 방식, 내부적으로 정보를 처리하는 방식을 이해하기 어려운 경우가 많습니다. 이 저장소는 연구자와 개발자가 이러한 프로세스를 명확히 이해하는 데 도움이 되는 리소스를 중앙 집중식으로 제공합니다.

작동 방식

이 저장소는 도구, 학술 논문, 기사의 엄선된 디렉토리 역할을 합니다. 리소스를 분류하여 사용자가 신경망을 분석하는 특정 방법(내부 활성화 시각화, 특정 행동을 담당하는 특정 뉴런 식별, 인과 개입 기법을 사용한 모델 지식 편집 등)을 찾을 수 있도록 돕습니다.

대상 독자

이 목록은 LLM을 구축하거나 연구하는 AI 연구자, 머신러닝 엔지니어, 개발자를 위해 설계되었으며, 모델 투명성을 개선하고 성능 문제를 디버깅하거나 안전성과 신뢰성을 보장해야 하는 사람들에게 적합합니다.

주요 내용

• 트랜스포머 모델을 시각화하고 디버깅하기 위한 소프트웨어 라이브러리의 포괄적인 목록.
• 메커니즘 해석 가능성, 환각 탐지, 편향 완화와 같은 주제를 다루는 학술 연구 논문의 깊이 있는 컬렉션.
• 주의 맵 및 잠재 공간 표현과 같은 모델 내부를 탐색할 수 있는 대화형 도구에 대한 링크.
• 모델이 훈련 중에 어떻게 진화하고 사실 정보를 어떻게 저장하는지 이해하기 위한 리소스.