amitshekhariitbhu/llm-internals

Learn LLM internals step by step - from tokenization to attention to inference optimization.

LLM Internals는 소프트웨어 라이브러리가 아니라 대규모 언어 모델(LLM)이 내부에서 어떻게 작동하는지에 대한 무료 단계별 학습 시리즈입니다. 단일 README가 목차 역할을 하며 블로그와 비디오로 연결됩니다.

LLM 내부를 "토큰화에서 어텐션, 추론 최적화까지" 가르치는 엄선된 교육 컬렉션입니다. 각 주제는 YouTube 비디오 또는 outcomeschool.com의 상세 블로그 게시물로 연결됩니다. 다운로드할 코드는 없으며, 전체 프로젝트는 README 인덱스 자체입니다.

LLM을 단순히 사용하는 방법이 아니라 내부적으로 어떻게 작동하는지 진정으로 이해하려는 모든 사람을 대상으로 합니다. 톤과 구조는 기본적인 ML/신경망 개념에 익숙한 학습자를 대상으로 합니다(수학을 숫자 예제로 설명합니다).

Outcome School의 창립자 Amit Shekhar가 준비하고 유지 관리합니다(그의 X/Twitter 핸들은 README에 링크되어 있습니다).

README는 기본 개념부터 고급 추론 최적화까지 대략적인 학습 순서로 주제를 나열합니다. 각 항목에는 블로그/비디오가 다루는 내용에 대한 간단한 설명과 outcomeschool.com의 콘텐츠로 연결되는 직접 링크가 있습니다.

기초: LLM, RAG, MCP, Agent, 파인튜닝, 양자화(비디오)
토큰화: 토큰이란 무엇인가, Byte Pair Encoding(BPE), 중지 토큰
어텐션 수학: 쿼리/키/밸류 수학, √dₖ로 스케일링하는 이유, 인과 마스킹
훈련 수학: 역전파, 크로스 엔트로피 손실
아키텍처: 트랜스포머 아키텍처, 피드포워드 네트워크, 배치 정규화 vs 레이어 정규화, RMSNorm, RoPE(회전 위치 임베딩), 그룹 쿼리 어텐션
추론 최적화: KV Cache, Paged Attention, Flash Attention, Speculative Decoding, Medusa, EAGLE, Continuous Batching, Prompt Caching, Prefill vs Decode
확장 접근법: Mixture of Experts(MoE), LoRA

각 블로그 항목은 다루는 하위 주제의 글머리 기호 목록을 열거합니다(예: "토큰이란?", "BPE는 어떻게 작동하나?", "숫자 예제"). 많은 게시물은 "단계별 숫자 예제"를 명시적으로 약속합니다. 여러 주제에 대해 비디오도 링크되어 있습니다.

저자는 명시적으로 말합니다: "이 시리즈는 새로운 주제에 대한 블로그를 더 쓰고 비디오를 더 만들면서 계속 성장할 것입니다. 계속 배우세요." 목록은 진행 중이며 README가 캡처된 시점에 완료되지 않았습니다(제공된 텍스트에서 LoRA에 대한 마지막 항목은 문장 중간에 잘려 있습니다).

LLM이 실제로 어떻게 작동하는지(토큰화, 어텐션 수학, 트랜스포머 내부, 그리고 현대 추론 기법이 왜 속도를 높이는지) 이해하기 위한 잘 구조화된 무료 경로를 원한다면, 이 README는 실행 가능한 프로젝트가 아니라 연결된 튜토리얼의 고품질 강의 계획서입니다.

amitshekhariitbhu/llm-internals

관련