bojieli/ai-infra-book

《深入理解 AI Infra：量化分析与系统设计》（李博杰 著）开源书稿：从硬件约束和模型架构出发，量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

フィールド READMEの実際の記載
概要 オープンソースの書籍で、タイトルは「深入理解 AI Infra：量化分析与系统设计」（おおよそ: AIインフラを深く理解する：定量的分析とシステム設計）。著者の前著『深入理解 AI Agent』（AIエージェントを深く理解する）の姉妹巻で、GitHubスターは50,000以上。原稿はまだドラフトであり、継続的に改訂中。
著者 李博杰（Bojie Li、GitHub: @bojieli）。リポジトリの所有者であり、簡体字中国語の原著者。書籍はApache License 2.0（原文、図、コード）の下でライセンスされている。Copyright © 2026 Bojie Li。
存在理由 著者の表明した動機：モデルベースのアプリケーションを構築することは、その下にあるインフラを理解することを意味する。ソフトウェアエンジニアがOSやコンパイラを自分で作らなくても学ぶのと同じだ。なぜなら、すべてのメモリ割り当て、ファイル読み込み、関数呼び出しにはリソースと時間のコストがかかるから。LLMアプリでは、レイテンシとコストの差が製品やビジネスモデルを変える。著者の枠組み：LLMはLLM時代の「オペレーティングシステム」となり、AIインフラはその「コンピュータアーキテクチャ」である。この本は、ハードウェアの制約とモデルアーキテクチャからシステム設計を定量的に導き出す本が存在しないというギャップを埋めることを目的としている。著者はまた、博士課程の指導教官の助言を引用している：物理的限界まで最適化せよ。この本はまずハードウェアの理論上の上限を計算し、それを測定結果と比較する。
コアメソッド（「5つの質問」） この本を通して繰り返されるテーマはデータ移動（データ搬移）。すべてのケースで5つの質問が繰り返される：何を移動するか、どれだけの量か、何回か、どこを通るか（どの経路か）、誰がそれを待つか——つまり、移動されるもの、その量、転送回数、経路、依存関係/待ち時間。方法は一貫して「制約から設計を導き出す」：タスクと品質要件を述べ、計算/ストレージ/通信/依存関係のニーズを列挙し、ハードウェア容量、帯域幅、計算能力に対して桁の見積もりを行う。READMEはこれがエラーを起こしやすいと強調している：KVキャッシュを忘れる、ピーク計算を確認しても帯域幅を確認しない、GPU間で作業を分割してもカード間通信を見逃す——いずれの見落としも結論を数倍または桁違いに歪める可能性がある。
内容 — 12章 1) AIインフラ入門—1回の生成に必要なメモリ、計算、データI/Oの量。2) モデルアーキテクチャ—アテンション、履歴状態、エキスパート構造がシステム要件をどう変えるか。3) 推論とトレーニングのワークロード—タスクフェーズ、到着パターン、状態の寿命がリソース要件にどう影響するか。4) アクセラレータアーキテクチャ—計算、ストレージ、帯域幅、電力、コストのトレードオフ。5) オペレータとランタイム—融合、再利用、並行性、スケジューリングが実行オーバーヘッドをどう削減するか。6) スーパーノード—マルチデバイス連携が容量、スループット、同期コストのバランスをどう取るか。7) データセンター内ネットワーク—帯域幅、通信パターン、輻輳が計算効率にどう影響するか。8) 推論最適化—バッチ処理、KV管理、オフローディング、投機的デコードがいつ有効か。9) 分散推論—計算と状態をどう配置し、スケーリングとリカバリをどう扱うか。10) トレーニングシステム—メモリ、通信、再計算を効率のためにどう配置するか。11) リソーススケジューリングと実行環境—モデルサービングとツール環境がどうリソースを共有し待ち時間を減らすか。12) エッジ-クラウド-デバイス連携—品質、レイテンシ、コストのバランスを取り、タスクをどこに置くか（ローカル、エッジ、クラウド）。
対象読者 モデルAPIを呼んだり、ローカルでモデルを実行したりしたことがあり、モデルが遅い理由とコスト削減方法を理解したい人々。また、システム、ネットワーク、チップのエンジニア、およびこれらの分野の研究者や学生。前提条件：Python、線形代数、コンピュータシステムの基礎知識。READMEは、第1〜3章を最初に読むことを提案し、その後は章ごとのパスを推奨：アプリ/推論リーダー→第8〜9章、その後第11〜12章。システム/ネットワークリーダー→第5〜7章、その後第9〜10章。チップ/アーキテクチャリーダー→第4〜7章と後半の章の計算例。
付属の計算ツール calculations/内のコマンドラインツールで、本の数値を再計算したり、異なるモデルや入力でのリソース要件を推定したりできる。静的計算はPython 3.10+標準ライブラリのみで可能（GPUやモデルの重みは不要）。コマンド例：python3 calculations/calc.py models（サポートされているモデルを一覧表示）、python3 calculations/calc.py forward --model qwen3-8b --tokens 8192 --format md（Qwen3-8Bの8192トークンのプリフィルにおけるオペレータごとのリソース要件を推定）。結果インデックスとモデル設定が含まれている。
付属の実験 experiments/chXX/XX-YY/に章ごとに整理。それぞれに実行方法、入力条件、結果の説明がある。GPUが必要な実験は、ハードウェアと依存関係の要件を記載。そのハードウェアがない読者は、既存の記録を読むことができる。再現または引用には、原稿のバージョン、モデル、ハードウェア、入力パラメータを記載するようREADMEに書かれている。
リポジトリサイズとGit LFS 大きなファイル（論文、大きな入力、測定記録）はGit LFSに保存され、合計約20GB。リポジトリの.lfsconfigはデフォルトですべてのLFSファイルをスキップするように設定されているため、クローンではポインタファイルのみが取得される。本文、図、静的計算にはこれらは不要。特定の実験のみ取得する場合：git lfs pull --include="experiments/ch05/05-01/**" --exclude=""。
利用可能な形式と言語 オリジナル：簡体字中国語（著者自身）。コミュニティ翻訳：英語（@tg1482による）、繁体字中国語（@edward821220による）、ロシア語（@ilkruglovが組織したコミュニティ版）。各版はPDF、EPUB、オンラインリーディングサイトとして提供されている。オンラインサイトは章ナビゲーション、全文検索、ダークモード、右上の言語切り替え（ルートが簡体字中国語、en/、zh-tw/、ru/のサブパス）を提供。PDFはXeLaTeXで組版、EPUBは携帯端末やリーダー向けにリフロー。リリースはmainへのプッシュのたびに自動ビルド・公開され、ダウンロードリンクは常に最新版を指す。
ローカルビルド ウェブサイト：Python 3.10+、venv作成、pip install -r website/requirements.txt、python scripts/build_site.py、任意でpython scripts/check_site.py、--serveでhttp://127.0.0.1:8000でプレビュー。フルPDF：Pandoc、XeLaTeX、フォントが必要。スクリプト book/build_pdf.sh（zh）、book-en/build_pdf.sh（en）、book-zh-tw/build_pdf.sh（zh-TW）。EPUB：python3 book/build_epub.py --edition zh（エディションはzh、en、zh-tw、ru）でPandocとPopplerのみが必要。翻訳画像アセットはGit LFSにあり、ビルド前にgit lfs pull --include="book-en/images/**,book-zh-tw/images/**" --exclude=""で取得。CI（GitHub Actions）は、すべての言語でのサイトビルドとPDF/EPUBのPRビルドをチェックする。
貢献 歓迎。READMEには以下がリストされている：誤った事実（間違った数値、単位/桁、引用の不一致、誤った数式/図）を、正誤表のissueテンプレートまたはPRで修正。不明瞭な箇所（省略された導出手順、初出で定義されていない用語、わかりにくい例）を書き直す。重要なメカニズム/アーキテクチャ/トレードオフの欠落を追加。付属コード（experiments/とcalculations/CLI）のバグを修正。ウェブ版（レイアウト、ナビゲーション、検索、モバイル体験）を改善。より多くの言語に翻訳（英語と繁体字中国語は参考構造として既に存在。開始前にissueを開いて調整）。テキストの唯一のソースはmanuscripts/のMarkdownで、ウェブとPDFはそこからビルドされるため、変更はそこに行う。
構造 リポジトリのディレクトリ：manuscripts/（序文、12章、図、プロットスクリプト）。experiments/（章ごとの実験と記録）。calculations/（計算ツール、固定入力、再計算結果）。case-studies/（モデル/ハードウェア/システム分析、章でインデックス）。references/（引用、ソースリスト、バージョンスナップショット）。research/（サポート調査と改訂記録）。book/（PDFテンプレート、ビルド/チェックツール）。book-en/、book-zh-tw/（独自スクリプトを持つ翻訳版）。website/、scripts/（サイトアセットとビルド/チェック）。archive/（過去の概要、レビュー、調整ノート）。

関連

  • プロジェクト
    guess-js/guess

    Google Analyticsなどのデータ分析を使用して、ユーザーが次にどのページを訪問するかを予測し、それらをプリフェッチしてウェブパフォーマンスを向上させるライブラリおよびツールセットです。

  • プロジェクト
    katanemo/plano

    AI ネイティブのプロキシサーバーとデータプレーンで、エージェントのオーケストレーション、LLM ルーティング、可観測性を集中管理し、プロダクション向けエージェントアプリケーションのデプロイを簡素化します。

  • プロジェクト
    tbphp/gpt-load

    GPT-Loadは、多くのLLM APIのための単一のセルフホスト型ゲートウェイとして機能するオープンソースのGoサービスです。複数のプロバイダーを構成し、APIキーを管理し、トラフィックをスケジュールし、リトライを処理し、統合されたログとコストダッシュボードを表示できます。すべて、使い慣れたOpenAI互換のHTTPインターフェースの背後で実現されます。

  • プロジェクト
    vllm-project/vllm-omni

    vLLM‑Omni は、vLLM 推論エンジンのオープンソース拡張であり、マルチモーダルモデル（テキスト、画像、音声、ビデオ、アクション）向けの高速でスケーラブルなサービングを追加します。自己回帰および拡散スタイルのアーキテクチャの両方をサポートし、フルデュプレックスリアルタイム API を提供し、GPU、NPU、その他のアクセラレータで動作し、多くの人気 Hugging Face モデル向けのすぐに実行できるレシピが含まれています。このプロジェクトは本番グレードで、Apache-2.0 ライセンスであり、ドキュメント、Slack コミュニティ、最近の技術レポートによってサポートされています。