datawhalechina/llms-from-scratch-cn

仅需Python基础，从0构建大语言模型；从0逐步构建GLM4\Llama3\RWKV6，深入理解大模型原理

📚 LLMs From Scratch (CN)이란?

커뮤니티 주도 튜토리얼 시리즈(중국어)로, PyTorch 노트북만 사용하여 대규모 언어 모델을 처음부터 구축하는 방법을 안내합니다. 이 저장소는 원본 rasbt/LLMs-from-scratch 프로젝트의 자료를 다시 호스팅하고, 중국어 번역을 추가하며, GLM-4, Llama 3, RWKV 계열과 같은 여러 최신 아키텍처를 다루도록 커리큘럼을 확장합니다.

🎯 목표 및 대상 독자

목표 – 개발자와 연구자에게 ChatGPT 스타일 모델이 어떻게 작동하는지, 핵심 구성 요소(토크나이저, 어텐션, 트랜스포머 블록, 학습 루프)를 구현하는 방법, 그리고 자신의 데이터로 작지만 기능적인 모델을 학습하는 방법을 가르칩니다.
대상 독자 – 기본적인 Python/PyTorch 지식이 있고 LLM 내부 구조에 대한 실습 중심의 코드 우선 경로를 원하는 모든 사람. 자료는 중국어로 작성되었으며 어느 정도의 프로그래밍 배경을 가정합니다.

📂 저장소 구성

섹션	내용	대표 파일
1️⃣ 기초 지식	이론과 빠른 시작을 위한 짧은 노트북.	`Codes/ch02/.ipynb`, `Codes/ch03/.ipynb`
2️⃣ 모델 구현	어텐션, 멀티헤드 어텐션, GPT 스타일 모델, 학습 스크립트를 구현하는 단계별 노트북.	`Codes/ch04/gpt.py`, `Codes/ch05/train.py`, `Codes/ch05/generate.py`
3️⃣ 고급 모델 논의	ChatGLM-3, Llama-3, RWKV-V2-V6, MiniCPM 등의 가중치를 로드하고 검사하는 아키텍처별 노트북.	`Model_Architecture_Discussions//.ipynb`
4️⃣ 부록	PyTorch 복습, 분산 학습 예제, 추가 연습 문제.	`Codes/appendix-A/*.ipynb`, `Codes/appendix-D/appendix-D.ipynb`

✨ 주요 특징

완전한 코드 – 토크나이제이션부터 사전 학습 및 생성까지의 최소 GPT 스타일 모델.
실습 노트북 – 대규모 컴퓨팅 클러스터 없이 로컬(또는 Colab)에서 실행 가능.
다중 모델 지원 – 동일한 교육 흐름을 GLM, Llama, RWKV, MiniCPM 아키텍처 탐구에 재사용.
각 장의 연습 문제 해답이 제공되어 자기 주도 학습이 용이.
오픈소스 라이선스 – 코드는 Apache 2.0, 튜토리얼 콘텐츠는 CC-BY-NC-SA 4.0.

🚀 시작하기 (빠른 단계)

저장소 클론

git clone https://github.com/datawhalechina/llms-from-scratch-cn.git
cd llms-from-scratch-cn

Python 환경 생성 (권장: Python 3.9+, PyTorch 2.x).

pip install -r requirements.txt   # requirements 파일이 있으면, 그렇지 않으면 torch, tqdm, numpy 등을 설치.

입문 노트북 실행하여 최소 GPT 구현 확인:

jupyter notebook Codes/ch04/01_main-chapter-code/ch04.ipynb

챕터 순서(2장 → 5장)에 따라 데이터 로드 → 어텐션 → 전체 모델 → 사전 학습으로 진행.
준비가 되면 Model_Architecture_Discussions 노트북을 탐색하여 동일한 개념이 더 큰 공개 모델에 어떻게 매핑되는지 확인.

📜 라이선스

코드 – Apache 2.0 (허용적, 다른 프로젝트에서 재사용 가능).
튜토리얼 텍스트 및 노트북 – Creative Commons BY-NC-SA 4.0 (비상업적 공유, 저작자 표시).

🙋‍♀️ 기여 및 커뮤니티

버그나 기능 요청은 이슈를 열어주세요.
학습 그룹 조정에는 Discussions를 사용합니다.
풀 리퀘스트를 통한 기여를 환영합니다. README에 링크된 Datawhale 기여 가이드를 참조하세요.

TL;DR – *LLMs From Scratch (CN)*은 실용적이고 중국어로 된 학습 키트로, 직접 소규모 LLM을 작성하고 학습하고 실험할 수 있게 해주며, 인기 있는 최신 아키텍처에 대한 심층 노트북도 제공합니다. 추상적인 논문을 혼자 읽지 않고 ChatGPT 스타일 모델의 내부 구조를 이해하려는 자기 주도 학습자에게 완벽합니다.