raiyanyahya/how-to-train-your-gpt

解決する問題

ほとんどの機械学習チュートリアルは、浅すぎる（事前構築モデルを呼び出すだけ）か、学術的すぎる（密度の高い論文と数学で、実例がない）かのどちらかです。このプロジェクトは、GPT、LLaMA、Mistralなどの現代の大規模言語モデルが内部でどのように機能するかを、数学やMLの背景知識なしで真に理解したいPython開発者向けのギャップを埋めます。

仕組み

12章を順番に進めます。各章は同じ4ステップ構造です：単純なアナロジー、実数を使った実例、完全に注釈付きのコード（各行が「何」をするかと「なぜ」を説明）、そして図です。章に加えて、28の独立した解説が特定の技術（RoPE、アテンション、RMSNorm、SwiGLU、KVキャッシュ、サンプリングなど）を深く掘り下げ、2つの物語形式のウォークスルーが単一の文をモデル全体を通して追跡します。

モデルを自分で行ごとに構築します：BPEトークナイザー、埋め込み、RoPE位置エンコーディング、マルチヘッドアテンション、トランスフォーマーブロック、完全な151MパラメータGPTモデル、トレーニングパイプライン（AdamW、コサインウォームアップ、混合精度、勾配累積）、および推論エンジン（KVキャッシュ、温度、top-k/p、ビームサーチ）。デフォルト設定は小規模（17Mパラメータ、CPUで数分で実行）で、より大きなGPT-2スケール設定（151M）はGPUで利用可能です。

対象読者

• ChatGPTが実際にどのように機能するかに興味があり、MLの前提知識をゼロにしたいPython開発者
• Transformerを深く理解したい学生で、約3,500行のコメント付きコードを読むことを約束できる人
• LLMアーキテクチャを評価し、RoPEと学習済み埋め込みやRMSNormとLayerNormなどのトレードオフを理解したいエンジニア
• 他のチュートリアルで「アテンション」で迷子になり、パーティーのアナロジーと数値例が必要な人

基本的なPython（変数、関数、クラス、pip install）だけが前提条件です。微積分、線形代数、PyTorchの経験は不要です——トピックは進めながら教えられます。

ハイライト

• 12章、7,500行以上、28の独立したトピック解説、2つの物語形式のウォークスルー
• すべてのコード行に「何」と「なぜ」のコメント——ブラックボックスなし
• 最新の公開文書化されたデコーダー専用アーキテクチャを実装：RoPE、RMSNorm、SwiGLU、プレノルム、AdamW、BPE、ウェイトタイイング、混合精度
• 各章にはライブで実行できるJupyterノートブックが付属——小さなデータセットでモデルが数分で学習するのを観察できます
• ワンクリッククラウドトレーニング用のColabノートブックが提供されています
• ファインチューニングガイド（LoRA、QLoRA、データ準備）と、損失曲線の読み方やFAQなどのトラブルシューティングリソースが含まれています
• このプロジェクトは学習重視で、本番ライブラリではありません——理解することを教え、単に使用するだけではありません