WeZZard/jlens-qwen36

해결하는 문제

출력에 명시적으로 기록되지 않은 언어 모델의 '내부 사고'를 시각화하고 조작할 수 있는 방법을 제공합니다. 모델의 잠재적 흐름을 시각화함으로써, 최종 텍스트가 예의 바르거나 복종적이더라도 모델이 고려하고 있는 개념(예: '협박' 또는 '살인')을 사용자가 식별할 수 있습니다.

작동 방식

이 프로젝트는 자코비안 렌즈(Jacobian lens)를 구현하여 모델의 다양한 레이어에서 내부 잔차 상태를 최종 레이어의 어휘 기저로 매핑합니다. 이를 통해 시스템은 각 레이어와 토큰 위치에서 모델이 "향하고 있는" 토큰을 디코딩할 수 있습니다.

Apple Silicon에서 계산을 가능하게 하기 위해, 이 프로젝트는 게이트드 델타넷(Gated DeltaNet, GDN) 레이어용 맞춤형 Metal 백워드 커널을 포함하고 있으며, 표준 대체 연산보다 렌즈 적합 과정을 크게 가속화합니다.

대상 사용자

Apple Silicon 맥에서 LLM 해석성 작업을 수행하는 연구자 및 개발자로, Qwen3.6-27B 모델의 내부 표현을 시각화하고 개입하고자 하는 사람들을 대상으로 합니다.

주요 기능

• 시각적 디버거: 모든 레이어와 토큰 위치에서 예측된 상위 토큰을 보여주는 그리드 인터페이스.
• 잠재적 스트림 시각화: 최종 출력에는 존재하지 않지만 모델의 내부 상태에 존재하는 개념을 드러냅니다.
• 인과적 개입: 수동으로 내부 '사고'를 편집(대체, 추가, 삭제, 삭제)하여 모델의 출력을 변경할 수 있습니다.
• 백워드 검색: 모델이 원하는 단어나 문장을 출력하도록 하기 위해 필요한 특정 내부 수정을 탐색하는 기능.
• MLX 최적화: Apple Silicon에 특별히 최적화되어 맞춤형 커널을 사용해 높은 성능을 제공합니다.