stas00/ml-engineering

概要

大規模言語モデル（LLM）とマルチモーダルモデルのトレーニングとファインチューニング、およびその推論の実行に関する、オープンで無料の実践知識集です。「オープンブック」として書かれており、GitHub でホストされている生きたドキュメントで、ダウンロード可能な電子書籍版（PDF と EPUB）も利用できます。

対象読者

大規模な AI モデルをトレーニングまたは実行するエンジニアとオペレーター。内容は技術的で実践的であり、直接使用できるスクリプトやコピペコマンドが満載です。

著者の背景

著者の Stas Bekman は、オープンソースの BLOOM-176B モデル（2022 年）、IDEFICS-80B マルチモーダルモデル（2023 年）、Contextual.AI の RAG モデル（2024 年）のトレーニングの実体験からこれを編纂しました。

内容

内容は 7 つのパートに分かれています：

1. 洞察 — クラウドプロバイダーの選び方や、GPU のアップグレードがコストに見合うかどうかの判断など、高レベルのガイダンス。
2. ハードウェア — 計算アクセラレータ、CPU、ストレージ、ネットワーク。
3. オーケストレーション — コンテナとリソースの管理（SLURM を含む）。
4. トレーニング — モデルトレーニングガイド。
5. 推論 — モデル推論の洞察。
6. 開発 — デバッグとテストのヒント。
7. その他 — リソースと LLM/VLM の記録。

含まれる主要ツール

すぐに使えるスクリプトがいくつかあります：

• torch-dist-bench.py — ネットワークスループットのベンチマークを簡単に行う方法。
• torch-distributed-gpu-test.py — ノード間の接続をすばやくテスト。
• mamf-finder.py — アクセラレータから得られる実際の計算速度（TFLOPS）を測定。

追加コンテンツ

• SKILL.md ファイル — AI エージェントに ML エンジニアリングの方法と GPU クラスターの評価方法を教える 2 つのファイル。
• コース — 「トレーニング LLM から学んだ教訓」、簡潔な洞察を通して本書を別の方法で読む。
• 録画トーク — 回復力のある ML エンジニアリングスキルを構築するための講義。
• コミュニティディスカッション — 経験を共有するフォーラム。
• 比較表 — アクセラレータの速度とメモリ、ネットワーク速度。

形式

GitHub リポジトリとして、および HuggingFace でホストされているダウンロード可能な PDF と EPUB の電子書籍版として利用できます。

ライセンス

Attribution-ShareAlike 4.0 International (CC-BY-SA) の下で配布されています。

関連作品

同じ著者による 2 つの姉妹オープンブック：The Art of Debugging と Stas' Python Cookbook。