HandsOnLLM/Hands-On-Large-Language-Models

이 프로젝트는 무엇인가요?

이 저장소는 Jay Alammar와 Maarten Grootendorst가 쓴 책 **"Hands-On Large Language Models"**의 공식 동반 코드입니다. 저자들은 대규모 언어 모델(LLM)이 어떻게 작동하고 사용하는지 가르치기 위해 거의 300개의 맞춤 제작 그림과 같은 시각적 요소에 크게 의존하기 때문에 이 책을 "The Illustrated LLM Book"이라고 재미있게 부릅니다.

책 자체는 O'Reilly에서 출판한 400페이지 분량의 가이드이며, 이 GitHub 저장소에는 12개 장으로 구성된 모든 코드 예제가 포함되어 있습니다.

무엇이 포함되어 있나요?

각 장에는 실습 예제를 안내하는 Jupyter 노트북(대화형 코딩 문서)이 있습니다. 장은 기본에서 고급 주제로 진행됩니다:

언어 모델 소개 — LLM이 무엇이며 AI 환경에 어떻게 적합한지
토큰 및 임베딩 — 텍스트가 조각으로 나뉘고 숫자로 변환되는 방법
Transformer LLM 내부 살펴보기 — 현대 LLM을 구동하는 내부 아키텍처
텍스트 분류 — 텍스트를 범주로 분류하도록 모델 교육
텍스트 클러스터링 및 토픽 모델링 — 유사한 텍스트 그룹화 및 주제 찾기
프롬프트 엔지니어링 — LLM에서 더 나은 응답을 얻기 위한 지침 작성
고급 텍스트 생성 기술 및 도구 — 더 정교한 텍스트 생성 방법
의미 검색 및 검색 증강 생성 — 의미로 검색하고 검색과 생성을 결합
다중 모드 대규모 언어 모델 — 텍스트 외에 이미지, 오디오 및 기타 데이터 유형을 처리하는 모델
텍스트 임베딩 모델 만들기 — 텍스트를 벡터로 변환하는 자체 모델 구축
분류를 위한 표현 모델 파인튜닝 — 분류 작업에 사전 훈련된 모델 적용
생성 모델 파인튜닝 — 텍스트 생성을 위해 사전 훈련된 모델 적용

어떻게 사용하나요?

README는 16GB VRAM의 T4 GPU를 제공하는 무료 클라우드 서비스인 Google Colab을 통해 노트북을 실행할 것을 강력히 권장합니다. 모든 예제는 Colab에서 구축 및 테스트되었으므로 가장 안정적인 환경입니다. 다른 클라우드 제공업체도 작동해야 하지만 운영 체제, Python 버전 및 종속성에 따라 결과가 약간 다를 수 있습니다.

로컬에서 실행하려는 사람들을 위해 모든 패키지를 설치하기 위한 빠른 시작 가이드가 있는 .setup 폴더와 conda 및 PyTorch 설치를 포함한 완전한 환경 설정 가이드가 있는 .setup/conda 폴더가 있습니다.

보너스 콘텐츠

저자는 또한 책의 범위를 넘어서는 주제를 더 깊이 탐구하는 보너스 시각적 가이드 세트를 유지 관리합니다. 여기에는 다음에 대한 그림 가이드가 포함됩니다:

Mamba(시퀀스 모델의 일종)
양자화(모델을 압축하여 더 빠르게 실행)
Stable Diffusion(이미지 생성)
전문가 혼합(모델 아키텍처 기술)
추론 LLM(단계별로 생각하는 모델)
DeepSeek-R1(특정 추론 모델)

이들은 저장소에서 연결되며 무료로 읽을 수 있습니다.

누구를 위한 것인가요?

README에 인용된 리뷰에 따르면, 이 책은 LLM을 깊이 있고 실용적으로 이해하려는 사람들을 대상으로 합니다. 초보자부터 자신의 모델을 파인튜닝하려는 사람들까지. 리뷰어로는 Andrew Ng(DeepLearning.AI 창립자), Nils Reimers(sentence-transformers 제작자), Josh Starmer(StatQuest), Luis Serrano, Leland McInnes(UMAP 및 HDBSCAN 제작자)가 있습니다.

주요 사실

저자: Jay Alammar와 Maarten Grootendorst, 둘 다 잘 알려진 AI 교육자
출판사: O'Reilly (2024)
ISBN: 978-1098150969
구매처: Amazon, O'Reilly, Kindle, Barnes and Noble, Shroff Publishers(인도), Goodreads
형식: 12개의 Jupyter 노트북, 각 장마다 하나, 각각 "Colab에서 열기" 버튼이 하나씩 있음
비용: 코드는 GitHub에서 무료; 책 자체는 유료 제품

요약하자면: 명확한 시각 자료와 작동하는 코드로 LLM을 실습으로 배우고 싶다면, 이 저장소는 높이 평가받는 책의 모든 예제를 브라우저에서 실행할 수 있도록 제공합니다.