datawhalechina/happy-llm

프로젝트 소개

Happy-LLM은 Datawhale 오픈소스 커뮤니티가 제공하는 체계적인 대규모 언어 모델(LLM) 학습 튜토리얼로, 처음부터 LLM의 원리와 훈련 과정을 깊이 이해하고 자신만의 대규모 모델을 구현하는 것을 목표로 합니다.

핵심 내용

튜토리얼은 기초 지식과 실전 응용 두 부분으로 나뉩니다:

• 기초 지식(1~4장): NLP 기본 개념부터 시작하여 Transformer 아키텍처, 사전 학습 언어 모델(PLM), 대규모 언어 모델(LLM)의 원리와 훈련 전략까지 점진적으로 깊이 들어갑니다.
• 실전 응용(5~8장): PyTorch 및 Transformers 프레임워크를 기반으로 완전한 LLaMA2 모델을 구축하고 훈련하며, 사전 학습, 지도 미세 조정, LoRA/QLoRA 효율적 미세 조정, 모델 평가, RAG(검색 증강 생성), Agent(에이전트) 등의 최신 응용을 다룹니다.

또한 프로젝트에는 Extra Chapter가 포함되어 있으며, 커뮤니티가 기여한 LLM 학습 노트와 블로그를 수록하고 지속적으로 업데이트합니다.

학습 성과

• Transformer 아키텍처와 어텐션 메커니즘을 깊이 이해
• 사전 학습 언어 모델의 기본 원리 습득
• 기존 대규모 모델의 기본 구조 이해
• 완전한 LLaMA2 모델 구현
• 사전 학습부터 미세 조정까지의 전체 프로세스 습득
• RAG, Agent 등의 최신 기술 실전 적용

대상 독자

대학생, 연구자, LLM 애호가. Python 프로그래밍 경험이 어느 정도 있고 딥러닝 및 NLP 기본 개념을 이해하는 것이 좋습니다.

학습 방법

• 프로젝트는 완전 무료이며, 온라인 읽기 주소와 PDF 버전 다운로드를 제공합니다.
• 장 순서대로 학습하고 코드 실습을 병행하는 것을 권장합니다.
• 장마다 의존성이 다르므로 독립적인 Python 환경을 사용하는 것을 권장합니다.
• 문제가 발생하면 GitHub Issue 섹션에서 질문할 수 있습니다.

기여 방법

버그 보고, 기능 제안, 내용 개선, 코드 최적화(Pull Request 제출) 등 모든 형태의 기여를 환영합니다.

오픈소스 라이선스

크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 4.0 국제 라이선스(CC BY-NC-SA 4.0)를 채택합니다.

기타 리소스

• 부속 교육용 강의 PPT 리소스를 제공합니다.
• 두 개의 사전 학습 모델(Base 및 SFT 버전)을 다운로드하여 체험할 수 있습니다.
• 프로젝트는 Datawhale 커뮤니티가 유지 관리하며, 주요 기여자로 송지학, 추우형 등이 있습니다.