datawhalechina/llms-from-scratch-cn

仅需Python基础，从0构建大语言模型；从0逐步构建GLM4\Llama3\RWKV6，深入理解大模型原理

📚 LLMs From Scratch (CN) とは？

コミュニティ主導のチュートリアルシリーズ（中国語）で、PyTorchノートブックのみを使用して大規模言語モデルをゼロから構築する方法を学びます。このリポジトリは、元の rasbt/LLMs-from-scratch プロジェクトの資料を再ホストし、中国語翻訳を追加し、GLM-4、Llama 3、RWKVファミリーなどの最新アーキテクチャをカバーするようにカリキュラムを拡張しています。

🎯 目標と対象読者

目標 – 開発者や研究者に、ChatGPTスタイルのモデルがどのように機能するか、コアコンポーネント（トークナイザー、アテンション、トランスフォーマーブロック、トレーニングループ）を実装する方法、そして独自のデータで小さくても機能するモデルをトレーニングする方法を教えること。
対象読者 – 基本的なPython/PyTorchの知識があり、LLMの内部構造への実践的でコードファーストな道筋を求めている人。教材は中国語で書かれており、ある程度のプログラミング背景を想定しています。

📂 リポジトリの構成

セクション	内容	代表的なファイル
1️⃣ 基礎知識	理論とクイックスタート用の短いノートブック。	`Codes/ch02/.ipynb`、`Codes/ch03/.ipynb`
2️⃣ モデル実装	アテンション、マルチヘッドアテンション、GPTスタイルモデル、トレーニングスクリプトを実装するステップバイステップのノートブック。	`Codes/ch04/gpt.py`、`Codes/ch05/train.py`、`Codes/ch05/generate.py`
3️⃣ 高度なモデル議論	ChatGLM-3、Llama-3、RWKV-V2-V6、MiniCPMなどの重みをロードして検査するアーキテクチャ固有のノートブック。	`Model_Architecture_Discussions//.ipynb`
4️⃣ 付録	PyTorchの復習、分散トレーニングの例、追加演習。	`Codes/appendix-A/*.ipynb`、`Codes/appendix-D/appendix-D.ipynb`

✨ 主なハイライト

完全なコード – トークナイゼーションから事前トレーニング、生成までの最小限のGPTスタイルモデル。
実践的なノートブック – 大規模な計算クラスターを必要とせずにローカル（またはColab）で実行可能。
マルチモデル対応 – 同じ教育的フローをGLM、Llama、RWKV、MiniCPMアーキテクチャの探索に再利用。
各章の演習解答が提供され、自習が簡単。
オープンソースライセンス – コードはApache 2.0、チュートリアルコンテンツはCC-BY-NC-SA 4.0。

🚀 はじめに（クイックステップ）

リポジトリをクローン

git clone https://github.com/datawhalechina/llms-from-scratch-cn.git
cd llms-from-scratch-cn

Python環境を作成（推奨：Python 3.9+、PyTorch 2.x）。

pip install -r requirements.txt   # requirementsファイルがある場合、それ以外はtorch、tqdm、numpyなどをインストール。

入門ノートブックを実行して、最小限のGPT実装を確認：
```
jupyter notebook Codes/ch04/01_main-chapter-code/ch04.ipynb
```
章の順序（第2章→第5章）に従って、データロード→アテンション→完全なモデル→事前トレーニングと進みます。
準備ができたら、Model_Architecture_Discussions ノートブックを探索して、同じ概念がより大きな公開モデルにどのようにマッピングされるかを確認します。

📜 ライセンス

コード – Apache 2.0（寛容で、他のプロジェクトでの再利用を許可）。
チュートリアルテキストとノートブック – Creative Commons BY-NC-SA 4.0（非商用共有、帰属表示）。

🙋‍♀️ 貢献とコミュニティ

バグや機能リクエストはissueを開いてください。
学習グループの調整にはDiscussionsを使用します。
プルリクエストによる貢献を歓迎します。READMEにリンクされているDatawhaleの貢献ガイドを参照してください。

TL;DR – LLMs From Scratch (CN) は、実用的で中国語の学習キットであり、自分で小規模なLLMを書き、トレーニングし、実験できるようにしながら、人気のある最新アーキテクチャに関する深掘りノートブックも提供します。抽象的な論文を一人で読むことなく、ChatGPTスタイルのモデルの内部構造を解明したい自学自習者に最適です。