TransformerLensOrg/TransformerLens

해결하는 문제

TransformerLens는 생성형 언어 모델이 학습 과정에서 습득한 내부 알고리즘을 역공학하기 위한 오픈소스 도구가 부족한 문제를 해결합니다. 모델을 학습하거나 사용하기 위한 도구는 많지만, 내부 가중치와 활성화 값을 쉽게 검사하고 조작할 수 있는 인프라를 제공하는 도구는 거의 없습니다.

작동 방식

이 라이브러리는 140개 이상의 아키텍처 제품군에 걸쳐 15,000개 이상의 오픈소스 언어 모델을 로드할 수 있는 브리지를 제공합니다. 모델의 내부 활성화 값을 노출하여 연구자가 모델 실행 중에 이러한 활성화 값을 캐싱하거나, 함수를 사용하여 실시간으로 편집, 삭제 또는 교체할 수 있도록 합니다.

대상 사용자

기계론적 해석 가능성을 연구하는 연구자와 개발자를 위해 설계되었으며, 막대한 컴퓨팅 자원이나 산업 수준의 인프라 없이도 Transformer 및 기타 아키텍처(Mamba/SSMs 등)가 내부적으로 어떻게 작동하는지 연구할 수 있게 합니다.

주요 특징

• 광범위한 모델 지원: GPT-2 스타일 모델 및 Mamba-1, Mamba-2에 대한 실험적 지원을 포함하여 수많은 아키텍처 제품군의 수천 개 모델과 호환됩니다.
• 활성화 값 조작: 내부 활성화 값을 캐싱하고 모델의 순전파(forward pass) 중에 이를 수정하는 기능.
• 연구 최적화: 학습된 모델 내의 알고리즘을 역공학하는 과정을 촉진하기 위해 특별히 구축되었습니다.
• 통합: TransformerBridge를 제공하여 HuggingFace 가중치와의 호환성을 유지하면서 전문적인 해석 가능성 도구를 제공합니다.