datawhalechina/base-llm

해결하는 문제

많은 개발자가 기본 NLP 기반을 이해하지 않고 LLM API 호출이나 모델 파인튜닝에 바로 뛰어듭니다. 이 프로젝트는 고전 NLP(단어 벡터, RNN, Transformer)에서 현대 대규모 언어 모델(BERT, GPT, Llama)까지의 구조화된 경로를 제공하여 순수 학문적 이론과 얕은 API 사용 사이의 간극을 메웁니다. 이론과 실습 코드를 모두 포함합니다.

작동 방식

튜토리얼은 여섯 가지 주요 부분으로 구성됩니다: 이론적 기초, 실용 프로젝트(텍스트 분류, 개체명 인식), 파라미터 효율적 파인튜닝 및 양자화(PEFT, LoRA, QLoRA, RLHF), 배포(FastAPI, Docker, Jenkins), LLM 안전성, 그리고 멀티모달 최전선입니다. "질문 → 반복 → 리팩토링" 교육 스타일을 사용하여 단순한 스크립트가 산업급 구현으로 진화하는 방법을 보여줍니다. 독자는 Transformer와 Llama2 같은 핵심 아키텍처를 처음부터 작성한 다음, 개인 데이터에서 Qwen2.5를 파인튜닝하거나 Docker Compose로 모델 서비스를 배포하는 실제 작업에 적용합니다.

대상 독자

이 프로젝트는 학생, 전통적인 ML/DL에서 LLM으로 전환하는 AI 알고리즘 엔지니어, 깊은 아키텍처 이해를 원하는 LLM 애호가, 그리고 NLP 고전을 빠르게 복습해야 하는 연구자를 대상으로 합니다. 선행 조건은 탄탄한 Python, 기본 PyTorch, 기초 딥러닝 지식, 그리고 기초 수학(선형대수, 확률, 경사하강법)입니다.

하이라이트

• NLP 기초에서 고급 LLM 기술(RLHF, 양자화, MoE)까지의 진화를 체계적으로 다룸
• 라이브러리를 호출하는 대신 핵심 아키텍처(Transformer, Llama2)를 직접 작성
• 완전한 실용 프로젝트 포함: 텍스트 분류, NER, QLoRA를 사용한 Qwen2.5 파인튜닝, 모델 배포
• 훈련, 양자화, 추론 가속화, Docker 컨테이너화, 서비스 배포를 포함한 전체 엔지니어링 수명 주기를 다룸
• 풍부한 삽화를 사용하고 무거운 수학을 최소화하여 학습 접근성을 높임