datawhalechina/deep-learning-notes

이것은 무엇인가

신경망의 아주 기초부터 현대의 대규모 언어 모델까지 다루는 학습 노트 모음입니다. 저자는 딥러닝 자료가 논문, 블로그, 강의, 코드에 흩어져 있어 개별 아이디어를 하나의 명확한 그림으로 연결하기 어렵다는 일반적인 문제를 해결하기 위해 이 노트를 시작했습니다. 노트는 수식, 코드, 실제 프로젝트를 연결하는 것을 목표로 합니다.

대상 독자

기초부터 LLM 규모의 주제까지 구조화된 경로와 실제로 실행할 수 있는 작동 코드를 원하는 독학 딥러닝 학습자.

다루는 내용

주제 영역	README에서 언급된 구체적인 내용
신경망 기초	네트워크 기초, PyTorch, MLP, 최적화 알고리즘
고전적 모델	CNN, 정규화, 정규화, RNN, LSTM, GRU, Seq2Seq
어텐션 시대	어텐션 메커니즘, Transformer, FlashAttention
LLM을 처음부터 구축	MiniGPT 구현, 토큰화, GPT-2를 처음부터 구축
실제 LLM 엔지니어링	대규모 훈련 엔지니어링, 데이터 처리, 스케일링 법칙, 모델 평가, 후훈련, 추론
추론 프레임워크	vLLM 및 SGLang

구축 및 게시 방법

Quarto Markdown(버전 관리에 적합한 Markdown 기반의 일반 텍스트 형식)으로 작성되고 정적 웹사이트로 렌더링됩니다.
동반 저장소(jshn9515/dnnl-notebooks)는 동일한 콘텐츠를 Jupyter Notebook으로 제공하며 동기화를 유지합니다. Quarto를 로컬에 설치하면 quarto convert file.qmd를 사용하여 소스 파일을 직접 변환할 수도 있습니다.

환경 및 설정

Python 3.14 및 PyTorch 2.14에서 테스트되었습니다.
Transformers v5를 사용합니다. README는 v4와 상당한 API 차이(예: 토크나이저 및 양자화)가 있음을 경고하므로, v4용으로 작성된 다른 튜토리얼은 조정이 필요할 수 있습니다.
**dnnlpy**라는 사용자 정의 헬퍼 라이브러리가 필요합니다. 여기에는 노트 전체에서 사용되는 사용자 정의 구현과 유틸리티가 포함되어 있습니다. 많은 예제는 이것 없이는 실행되지 않습니다. 설치 방법은 다음과 같습니다:

uv pip install dnnlpy

또는 저장소에서 직접:

uv pip install "git+https://github.com/datawhalechina/deep-learning-notes.git#subdirectory=dnnlpy"

AI 지원에 대한 정직한 설명

저자는 LLM이 텍스트 초안 작성에 사용되었지만 모든 초안은 게시 전에 저자가 검토, 수정, 재확인한다고 밝힙니다. 노트에 여전히 누락이나 오류가 있을 수 있음을 인정하며 수정을 환영합니다.

기여 방법

Issues 또는 Pull Requests를 통해 오류 지적, 더 명확한 설명이나 코드 주석 제안, 구조 개선 제안, 새로운 주제 추천 등으로 기여할 수 있습니다. 더 큰 변경의 경우 저자는 먼저 Issue를 열어 논의할 것을 요청합니다.

영향

Dive into Deep Learning(Zhang, Lipton, Li, Smola)과 Hung-yi Lee 교수의 강의 시리즈를 주요 영향으로 인정합니다. 책 표지 디자인은 Understanding Deep Learning에서 영감을 받았습니다.

라이선스

노트 자체: CC BY-NC 4.0(비상업적).
dnnlpy 라이브러리: MIT.