YeonwooSung/llm-architecture-from-scratch

해결하는 문제

이 프로젝트는 대중적인 거대 언어 모델 (LLM) 아키텍처를 처음부터 구현한 깔끔하고 교육적인 코드를 제공합니다. 개발자와 연구자가 기초적인 어텐션 메커니즘부터 Mixture of Experts (MoE)와 같은 복잡한 구성 요소에 이르기까지, 현대 AI 모델이 어떻게 구조화되어 있는지 깊이 있고 실용적으로 이해할 수 있도록 설계되었습니다.

작동 방식

이 저장소에는 특정 유명 모델(Llama 3, DeepSeek v3, Gemma 3 등)을 위한 모듈식 코드베이스가 포함되어 있습니다. 각 폴더는 정규화 레이어 (LayerNorm vs. RMSNorm), 위치 인코딩 (RoPE), 어텐션 변형 (Grouped-Query Attention 또는 Sliding Window)과 같은 모델별 아키텍처 선택 사항을 구현하고 있어, 사용자가 코드를 검토하며 이러한 구성 요소가 기능적 모델 내에서 어떻게 상호 작용하는지 확인할 수 있습니다.

대상 독자

이 프로젝트는 고수준 API 사용을 넘어 최첨단 LLM 아키텍처의 저수준 구현 세부 사항을 이해하고자 하는 학생, 머신러닝 엔지니어 및 연구자를 위한 것입니다.

주요 특징

• 3B에서 671B 파라미터에 이르는 광범위한 모델 크기에 대한 구현을 포함합니다.
• Mixture of Experts (MoE) 및 멀티모달 기능을 포함한 다양한 아키텍처 기능을 다룹니다.
• Grouped-Query Attention (GQA) 및 슬라이딩 윈도우 어텐션과 같은 현대적인 어텐션 메커니즘을 구현합니다.
• 서로 다른 모델 제품군 간의 정규화 및 위치 인코딩 기술에 대한 명확한 비교를 제공합니다.