WeZZard/jlens-qwen36

해결하는 문제

로컬 LLM(구체적으로 Qwen3.6-27B)의 내부 '사고'(잠재 표현)를 시각화하고 개입하는 방법을 제공합니다. 사용자는 모델이 각 레이어와 각 토큰 위치에서 어떤 개념을 처리하는지, 최종 출력에 명시적으로 나타나지 않더라도 확인할 수 있습니다.

작동 방식

이 프로젝트는 야코비안 렌즈를 구현하여 모델의 내부 잔차 스트림을 최종 레이어 기저에 매핑하여 토큰 점수를 예측합니다. Apple Silicon에서 계산을 효율적으로 수행하기 위해 Gated DeltaNet(GDN) 레이어용 맞춤형 Metal 백워드 커널을 포함하여 표준 대안보다 훨씬 빠르게 전체 깊이 렌즈를 피팅할 수 있습니다.

대상 사용자

Apple Silicon Mac을 사용하는 연구자와 개발자로, Qwen3.6 아키텍처 모델에서 메커니즘 해석 가능성과 내부 상태 조작을 수행하려는 분들을 대상으로 합니다.

주요 기능

• 시각적 디버거: 각 레이어와 각 위치에서 상위 예측 토큰을 표시하는 그리드 인터페이스.
• 내부 상태 개입: 내부 '사고'를 수동으로 편집(교체, 추가, 제거, 삭제)하여 모델 출력을 변경하는 기능.
• 역방향 검색: 모델이 특정 원하는 단어를 생성하기 위해 필요한 내부 편집을 검색하는 기능.
• 하드웨어 최적화: 맞춤형 커널로 MLX 및 Apple Silicon에 특별히 튜닝되어 고성능을 제공합니다.