amitshekhariitbhu/llm-internals

Learn LLM internals step by step - from tokenization to attention to inference optimization.

LLM Internals はソフトウェアライブラリではなく、大規模言語モデル（LLM）が内部でどのように機能するかを学ぶ無料のステップバイステップの学習シリーズです。単一の README が目次として機能し、ブログやビデオにリンクしています。

LLM の内部を「トークン化からアテンション、推論最適化まで」教える厳選された教育コレクションです。各トピックは YouTube ビデオまたは outcomeschool.com の詳細なブログ記事へのリンクです。ダウンロードするコードはなく、プロジェクト全体が README インデックス自体です。

LLM を単に使用する方法だけでなく、内部でどのように機能するかを本当に理解したい人向けです。トーンと構成から、基本的な ML/ニューラルネットワークの概念に慣れている学習者を想定しています（数学を数値例で説明しています）。

Outcome School の創設者である Amit Shekhar によって準備および維持されています（彼の X/Twitter ハンドルは README にリンクされています）。

README は、基礎概念から高度な推論最適化まで、おおよその学習順序でトピックをリストしています。各エントリには、ブログ/ビデオがカバーする内容の短い説明と、outcomeschool.com のコンテンツへの直接リンクがあります。

基礎： LLM、RAG、MCP、Agent、ファインチューニング、量子化（ビデオ）
トークン化： トークンとは、Byte Pair Encoding（BPE）、ストップトークン
アテンションの数学： クエリ/キー/バリューの数学、√dₖ でスケーリングする理由、因果マスキング
トレーニングの数学： バックプロパゲーション、クロスエントロピー損失
アーキテクチャ： トランスフォーマーアーキテクチャ、フィードフォワードネットワーク、バッチ正規化とレイヤー正規化、RMSNorm、RoPE（回転位置埋め込み）、グループ化クエリアテンション
推論最適化： KV Cache、Paged Attention、Flash Attention、Speculative Decoding、Medusa、EAGLE、Continuous Batching、Prompt Caching、Prefill と Decode
スケーリングアプローチ： Mixture of Experts（MoE）、LoRA

各ブログエントリは、カバーするサブトピックの箇条書きリストを列挙しています（例：「トークンとは？」、「BPE はどのように機能するか？」、「数値例」）。多くの投稿は「ステップバイステップの数値例」を明示的に約束しています。いくつかのトピックにはビデオもリンクされています。

著者は明示的に述べています：「このシリーズは、新しいトピックに関するブログを書き、ビデオを作成するにつれて成長し続けます。学び続けてください。」リストは進行中であり、README がキャプチャされた時点では完了していません（提供されたテキストでは、LoRA に関する最後のエントリが文の途中で切れています）。

LLM が実際にどのように機能するか（トークン化、アテンションの数学、トランスフォーマーの内部、そして現代の推論トリックがなぜ高速化するか）を理解するための、構造化された無料の経路を望むなら、この README は実行可能なプロジェクトではなく、リンクされたチュートリアルの高品質なシラバスです。

amitshekhariitbhu/llm-internals

関連