bbycroft/llm-viz

해결하는 문제

GPT 스타일의 대규모 언어 모델(LLM)의 내부 작동 방식을 3D로 시각화하는 방법을 제공하여, 추상적인 추론 과정을 더 구체적이고 이해하기 쉽게 만듭니다.

작동 방식

이 프로젝트는 GPT-2 및 GPT-3와 같은 모델에서 사용되는 네트워크 토폴로지를 표시하는 3D 인터랙티브 렌더러를 구현합니다. 문자를 정렬하는 작은 네트워크(Andrej Karpathy의 minGPT 가중치 사용)부터 gpt2와 같은 더 큰 네트워크까지 시각화할 수 있습니다. 다만, 대규모 모델의 가중치는 크기 문제로 인해 미리 다운로드되어 있지 않습니다.

대상

인터랙티브 시각화를 통해 Transformer 기반 LLM의 아키텍처 구조와 데이터 흐름을 이해하는 데 관심이 있는 사람.

주요 특징

• GPT 스타일 네트워크의 3D 인터랙티브 모델
• OpenAI의 GPT-2 및 GPT-3에서 사용되는 네트워크 토폴로지 시각화
• 임의 크기의 네트워크 시각화 지원
• 문자를 정렬하는 작은 네트워크를 사용한 작동 데모 포함