datawhalechina/llm-algo-leetcode

해결하는 문제

이 프로젝트는 LLM 이론을 이해하는 것과 실제 모델을 실행, 측정 및 최적화하는 것 사이의 격차를 해결합니다. Transformer 및 훈련 루프의 PyTorch 구현에서 Triton 및 CUDA의 저수준 GPU 커널까지 학습자를 안내하는 체계적이고 실습 중심의 경로를 제공합니다. 모델이 어떻게 계산, 훈련 및 서비스되는지 이해하는 데 도움을 줄 뿐만 아니라, 재현 가능한 벤치마크를 실행하고 실제 하드웨어를 프로파일링하여 메모리, 통신, 처리량 및 지연 시간을 진단하고 개선하는 방법도 배울 수 있습니다.

작동 방식

이 튜토리얼은 5개 부분(파트 00~05)으로 나뉜 실행 가능한 Jupyter 노트북 시리즈로 구성됩니다. 권장 경로는 파트 02(PyTorch 알고리즘 실습)에서 시작하여 구현 직관을 쌓은 다음, 필요에 따라 파트 00/01에서 사전 요구 사항을 보충하고, 마지막으로 파트 03(Triton 커널) 및 파트 04(CUDA 및 시스템 최적화)로 진행합니다. 파트 05는 아키텍처 결정을 위한 통합 프로젝트로 계획되어 있습니다. 또는 학습자는 5가지 주요 학습 경로(아키텍처 진화, 훈련 후 최적화, 추론 최적화, 성능 최적화, 연산자 최적화)를 통해 입문하고, 교차 주제(양자화, 병렬 처리, 성능 분석 등)를 사용하여 특정 격차를 메울 수 있습니다. 노트북에는 실행 가능한 코드, 연습 섹션, 답변 셀 및 기본 검증이 포함되어 있으며, 프로젝트는 실제 GPU 실행, 추론 백엔드 및 프로파일링 도구를 사용한 증거 기반 실험을 강조합니다.

대상 독자

PyTorch를 통해 훈련, 미세 조정, 추론 및 모델 압축을 이해하려는 LLM 알고리즘 학습자, 메모리, 프로파일링, 통신, Triton, CUDA 및 GPU 최적화를 연구하려는 성능 및 시스템 학습자, 그리고 벤치마크, 실제 GPU 실행 및 추론 백엔드를 사용하여 재현 가능한 엔지니어링 판단을 내리려는 프로젝트 실무자를 위해 만들어졌습니다.

주요 특징

• 노트북 우선 설계: 모든 수업은 실행 가능한 코드, 연습, 답변 셀 및 기본 검증을 중심으로 구성되어 수정과 실험이 쉽습니다.
• 목표 지향 진입: 파트 02에서 구현 연습을 시작하거나 5가지 주요 학습 경로 및 주제 기반 탐색 중 하나로 바로 이동할 수 있습니다.
• 알고리즘에서 시스템으로의 진행: PyTorch → Triton → CUDA 경로를 따라 모델 구현을 커널 최적화, 메모리 관리, 통신 및 시스템 성능과 연결합니다.
• 증거 기반 프로젝트: 벤치마크, 프로파일링, 실제 GPU 실행 및 추론 백엔드를 사용하여 처리량, 지연 시간, 메모리, 품질 및 비용을 비교합니다.
• 포괄적인 범위: 파트 00~04는 완료되었으며(지속적으로 개선 중), Python/PyTorch 기초부터 원시 CUDA까지 모든 것을 다룹니다. 파트 05는 통합 프로젝트 및 아키텍처 결정을 위해 구축 중입니다.