llm-beginner: 밑바닥부터 구현하며 LLM과 AI 에이전트를 마스터하기 위한 단계별 실습 커리큘럼

해결하는 문제

이 프로젝트는 초보자가 대규모 언어 모델(LLMs)과 AI 에이전트를 마스터할 수 있도록 구조화된 실습 학습 경로를 제공합니다. 기본적인 Transformer 아키텍처부터 복잡한 자율 코딩 에이전트까지 6개의 단계별 과제를 통해 사용자를 안내함으로써 이론적 지식과 실제 구현 사이의 간극을 메웁니다.

작동 방식

사용자는 몇 주에 걸쳐 완료하도록 설계된 6개의 독립적인 과제 커리큘럼을 따릅니다. 학습 방법론은 근본적인 원리를 깊이 있게 이해할 수 있도록 "먼저 밑바닥부터 직접 작성하고, 그 다음 프레임워크와 비교하기"를 강조합니다. 각 과제에는 구현의 유효성을 검증하기 위한 자체 의존성, 데이터 다운로드 스크립트 및 셀프 체크 스크립트가 포함되어 있습니다.

1. Transformer Basics: 텍스트 분류를 위한 self-attention 및 Transformer 블록 구현.
2. mini-GPT: BPE tokenization, RoPE, KV cache를 포함하여 decoder-only 모델을 밑바닥부터 구축.
3. SFT & DPO: 베이스 모델에 LoRA를 사용하여 Supervised Fine-Tuning 및 Direct Preference Optimization 수행.
4. RAG: 임베딩 모델, 벡터 데이터베이스(FAISS), reranker를 사용하여 retrieval-augmented generation 파이프라인 구축.
5. Tool Agents: LLM이 외부 도구(계산기, sandbox, API)를 사용할 수 있도록 ReAct 루프 구현.
6. Coding Agents: MCP (Model Context Protocol), Skills, Subagents를 사용하여 로컬 코드를 수정하고 테스트를 실행할 수 있는 정교한 에이전트 생성.

대상 사용자

Python과 딥러닝에 기초가 있으며, 실무 중심의 코드 우선 연습을 통해 LLM 및 AI 에이전트 분야로 전환하고자 하는 학습자.

주요 특징

• 단계별 커리큘럼: 기본 아키텍처에서 고급 에이전트 워크플로우로 확장.
• 실습 검증: 각 과제에 대해 eval/run.py 스크립트를 포함하여 구현의 정확성에 대한 즉각적인 피득백을 제공.
• 하드웨어 접근성: 소비자용 GPU(8GB-16GB VRAM) 또는 Mac M-series 칩에서 실행되도록 설계됨.
• 포괄적인 기술 스택: RoPE, LoRA, DPO, RAG, ReAct, MCP와 같은 현대적인 기술을 다룸.