stas00/ml-engineering

개요

대규모 언어 모델(LLM) 및 멀티모달 모델을 훈련하고 미세 조정하며 추론을 실행하기 위한 개방적이고 무료인 실용 지식 모음입니다. "오픈 북"으로 작성되었으며, GitHub에서 호스팅되는 살아있는 문서로, 다운로드 가능한 전자책 버전(PDF 및 EPUB)도 제공됩니다.

대상 독자

대규모 AI 모델을 훈련하거나 실행하는 엔지니어와 운영자. 자료는 기술적이고 실습 중심이며, 직접 사용할 수 있는 스크립트와 복사-붙여넣기 명령으로 가득합니다.

저자 배경

저자 Stas Bekman은 오픈소스 BLOOM-176B 모델(2022), IDEFICS-80B 멀티모달 모델(2023), Contextual.AI의 RAG 모델(2024)을 훈련한 실제 경험을 바탕으로 이 책을 편찬했습니다.

내용

내용은 7개 부분으로 구성됩니다:

1. 통찰 — 클라우드 제공업체 선택 방법, GPU 업그레이드가 비용 대비 가치가 있는지 결정하는 방법 등 높은 수준의 지침.
2. 하드웨어 — 컴퓨팅 가속기, CPU, 스토리지, 네트워킹.
3. 오케스트레이션 — SLURM을 포함한 컨테이너 및 리소스 관리.
4. 훈련 — 모델 훈련 가이드.
5. 추론 — 모델 추론 통찰.
6. 개발 — 디버깅 및 테스트 팁.
7. 기타 — 리소스 및 LLM/VLM 연대기.

포함된 주요 도구

바로 사용할 수 있는 여러 스크립트:

• torch-dist-bench.py — 네트워크 처리량을 벤치마킹하는 더 쉬운 방법.
• torch-distributed-gpu-test.py — 노드 간 연결을 빠르게 테스트.
• mamf-finder.py — 가속기에서 얻을 수 있는 실제 컴퓨팅 속도(TFLOPS)를 측정.

추가 자료

• SKILL.md 파일 — AI 에이전트에게 ML 엔지니어링 방법과 GPU 클러스터 평가 방법을 가르치는 두 파일.
• 강좌 — "LLM 훈련에서 얻은 교훈", 간결한 통찰을 통해 책을 다른 방식으로 읽는 방법.
• 녹화 강연 — 회복력 있는 ML 엔지니어링 기술을 구축하는 강의.
• 커뮤니티 토론 — 경험을 공유하는 포럼.
• 비교 표 — 가속기 속도 및 메모리, 네트워크 속도.

형식

GitHub 저장소 및 HuggingFace에서 호스팅되는 다운로드 가능한 PDF 및 EPUB 전자책 버전으로 제공됩니다.

라이선스

Attribution-ShareAlike 4.0 International (CC-BY-SA)에 따라 배포됩니다.

관련 저작물

같은 저자의 두 권의 동반 오픈 북: The Art of Debugging 및 Stas' Python Cookbook.