datawhalechina/zero-to-sglang

zero‑to‑sglang – LLM推論エンジンを構築するための実践チュートリアル

概要 – モダンLLM推論の理論とコードを、英語と中国語のバイリンガルで解説するオープンソースのコースです。基礎（KVキャッシュ、プリフィル vs デコード、計算バウンド vs メモリバウンドのボトルネック）から始め、mini‑sglang 推論エンジンをスクラッチから実装する手順を解説し、最後に実際の SGLang プロジェクトが実装する高度なテクニック（RadixAttention、ページングKVキャッシュ、連続バッチング、階層的キャッシング、量子化、分散アテンション）を紹介します。

対象読者 – 基本的なPythonとPyTorchの知識を持ち、LLMがどのように効率的にサービス提供されるかを理解したい方。前半はGPU不要で、後半の章はCPUでも実行可能ですが、パフォーマンス実験にはGPUが推奨されます。

主な学習成果

• コアな推論の概念（KVキャッシュ、プリフィル/デコード、ルーフライン・モデル）を習得。
• 機能するミニ推論エンジン（フォワードパス、生成、HTTP提供、スケジューラ）を実装。
• 実際のSGLangソースコードを読み解き、最先端の最適化を理解する。
• プロファイリング、トレース解析、アクティブなオープンソースプロジェクトへのPR貢献の実践スキルを習得。

コース構成

パート	内容	ステータス
0 – 準備	コーディング倫理、最初のSGLangサーバー展開	✅
I – 基礎	LLMの基本、推論理論、GPU入門、KVキャッシュ、ベンチマーク	✅
II – mini‑sglang構築	アーキテクチャ概要、リクエストフロー、フォワードパス、KVキャッシュ最適化、HTTPと並行処理、RadixAttentionなど	✅（多くの章） – 一部の後半章は進行中
III – 高度なテクニック	アテンションバックエンド、量子化、階層的キャッシング、DP/EP/PPスケーリング、投機的デコード	✅階層的キャッシングのみ、他は進行中
IV – 貢献	デプロイクックブック、プロファイリング、PRワークフロー完全版	計画中

開始方法

# リポジトリをクローン

git clone https://github.com/datawhalechina/zero-to-sglang.git
cd zero-to-sglang
# `course-material/eng/`（英語版）または中国語版の章ごとの手順に従う

リポジトリにはmarkdownのコースファイル、学習者貢献用のcommunity/フォルダ、オンライン版用のVitePressサイト設定が含まれています。

重要性 – LLMが大型化するにつれて、推論コストが支配的になります。効率的な推論エンジンの理解と構築は希少なスキルです。このチュートリアルは、高レベルの概念と本番環境レベルのコードの間のギャップを埋め、学習者を実際のSGLangプロジェクト（RadixArkによって保守）に直接結びつけ、貢献を可能にします。

ライセンス – クリエイティブ・コモンズ 表示‑非営利‑継承 4.0。