bbruceyuan/LLMs-Zero-to-Hero

해결하는 문제

이 프로젝트는 대규모 언어 모델(LLM)을 처음부터 이해하고 구축하기 위한 포괄적이고 실습 중심의 학습 경로를 제공합니다. 이론적 지식과 실제 구현 사이의 격차를 메우고, 학습자가 초보자에서 숙련된 실무자로 전환할 수 있도록 돕습니다.

작동 방식

이 프로젝트는 '배우면서 실천하기' 접근 방식을 사용하며, 현대 AI 아키텍처의 개발을 반영한 Jupyter Notebook의 단계별 코드 구현을 특징으로 합니다. 사전 훈련, 지도 미세 조정(SFT), DPO, RLHF를 포함한 LLM의 전체 수명 주기를 다루며, 기본 개념을 설명하는 비디오 튜토리얼과 블로그 게시물도 제공합니다.

대상 독자

LLM 내부 구조를 마스터하려는 개발자와 AI 애호가를 위해 설계되었습니다. 학술 논문을 읽는 것보다 코드와 실제 실험을 통해 배우는 것을 선호하는 사람들에게 특히 유용합니다.

주요 특징

• 기본 모델 아키텍처부터 MOE 및 DeepSeek-MLA와 같은 고급 훈련 기술까지 모든 것을 다루는 체계적인 커리큘럼.
• 소비자용 하드웨어(RTX 3090/4090)에서 실행할 수 있는 완전히 기능하는 실습 코드 예제.
• 모든 주요 주제에 대한 통합 비디오 튜토리얼과 상세한 블로그 설명.
• 모델 배포, 추론 최적화 및 양자화에 대한 실용적인 지침.
• LLM 개발에 관한 곧 출간될 책의 기초가 되는 구조화된 저장소.