jax-ml/scaling-book

解決する課題

この本は、TPU ハードウェア上で大規模言語モデル（LLM）をスケーリングする複雑なプロセスを解明します。LLM が大規模にどのように動作するかを理解し、トレーニングや推論中の通信ボトルネックを防ぐための効果的な並列化戦略を選択するという課題に対処します。

仕組み

TPU の基本的なメカニズムと、分散モデルトレーニングのためのアーキテクチャ上の考慮事項を説明する包括的な教育リソースを提供します。リポジトリには、本の内容を単一の標準化された Markdown ファイルまたは Word 文書に変換してオフラインで読むためのユーティリティスクリプトも含まれています。

対象読者

このリソースは、JAX と TPU を使用する研究者、エンジニア、開発者を対象としており、LLM ワークロードのスケーリングに関する技術的なニュアンスを理解する必要があります。

ハイライト

• TPU のアーキテクチャと動作を説明します。
• パフォーマンスを最適化するための並列化スキームの選択をガイドします。
• 移植性のために本の単一ファイル版を生成するツールを提供します。
• Google DeepMind の専門家によって執筆されています。