jax-ml/scaling-book

해결하는 문제

이 책은 TPU 하드웨어에서 대규모 언어 모델(LLM)을 확장하는 복잡한 과정을 명확히 설명합니다. LLM이 대규모로 어떻게 작동하는지 이해하고 훈련 및 추론 중 통신 병목 현상을 방지하기 위한 효과적인 병렬화 전략을 선택하는 문제를 다룹니다.

작동 방식

TPU의 기본 메커니즘과 분산 모델 훈련을 위한 아키텍처 고려 사항을 설명하는 포괄적인 교육 자료를 제공합니다. 저장소에는 책의 내용을 단일 표준 Markdown 파일 또는 Word 문서로 변환하여 오프라인에서 읽을 수 있는 유틸리티 스크립트도 포함되어 있습니다.

대상 독자

이 자료는 JAX와 TPU를 사용하는 연구자, 엔지니어, 개발자를 대상으로 하며, LLM 워크로드 확장의 기술적 세부 사항을 이해해야 합니다.

주요 내용

• TPU 아키텍처와 작동 방식을 설명합니다.
• 성능 최적화를 위한 병렬화 방식 선택을 안내합니다.
• 휴대성을 위해 책의 단일 파일 버전을 생성하는 도구를 제공합니다.
• Google DeepMind의 전문가들이 저술했습니다.