nndl/llm-beginner

LLM、Agent上手教程

What it solves

이 프로젝트는 초보자가 대규모 언어 모델(LLM)과 AI 에이전트를 마스터할 수 있도록 구조화된 실습 학습 경로를 제공합니다. 이론과 실제 구현 사이의 격차를 메우며, 기본 Transformer 아키텍처부터 복잡한 자율 코딩 에이전트까지 6개의 점진적 과제를 통해 안내합니다.

How it works

사용자는 6개의 독립 과제를 순차적으로 진행합니다. 각 과제는 몇 주에 걸쳐 완료하도록 설계되었으며, "먼저 처음부터 구현하고, 그 다음 프레임워크와 비교한다"는 학습 방법을 강조해 기본 원리에 대한 깊은 이해를 돕습니다. 각 과제에는 자체 의존성, 데이터 다운로드 스크립트, 자체 검증 스크립트가 포함되어 구현 정확성을 검증할 수 있습니다.

  1. Transformer Basics: 텍스트 분류를 위한 셀프 어텐션 및 Transformer 블록 구현.
  2. mini-GPT: 디코더 전용 모델을 처음부터 구축, BPE 토크나이제이션, RoPE, KV 캐시 포함.
  3. SFT & DPO: LoRA를 사용해 베이스 모델에 대해 감독 미세조정(Supervised Fine‑Tuning) 및 직접 선호 최적화(Direct Preference Optimization) 수행.
  4. RAG: 임베딩 모델, 벡터 데이터베이스(FAISS), 리랭커를 결합한 검색 강화 생성 파이프라인 구축.
  5. Tool Agents: ReAct 루프를 구현해 LLM이 외부 도구(계산기, 샌드박스, API)를 사용할 수 있게 함.
  6. Coding Agents: MCP(Model Context Protocol), Skills, Subagents를 활용해 로컬 코드를 수정하고 테스트를 실행할 수 있는 정교한 에이전트 생성.

Who it’s for

Python과 딥러닝 기초가 있으며, 실습 중심의 코드 우선 연습을 통해 LLM 및 AI 에이전트 분야로 전환하고자 하는 학습자를 위한 내용입니다.

Highlights

  • Progressive Curriculum: 기본 아키텍처에서 고급 에이전트 워크플로우로 단계적으로 진행.
  • Hands‑on Validation: 각 과제에 eval/run.py 스크립트를 포함해 구현 정확성을 즉시 피드백.
  • Hardware Accessible: 소비자용 GPU(8GB‑16GB VRAM) 또는 Mac M 시리즈 칩에서도 실행 가능하도록 설계.
  • Comprehensive Tech Stack: RoPE, LoRA, DPO, RAG, ReAct, MCP 등 최신 기술을 포괄.