luhengshiwo/LLMForEverybody
每个人都能看懂的大模型知识分享,LLMs春/秋招大模型面试前必看,让你和面试官侃侃而谈
LLMForEverybody — 大規模言語モデルを学ぶためのオールインワン資料庫
プロジェクトの概要
これは大規模言語モデル(LLM)学習者向けのオープンソース資料庫で、付属ウェブサイトは LearnLLM.AI です。プロジェクトの核心スローガンは「Learning LLM is all you need」、つまり「大規模言語モデルを学ぶなら、ここから始めよう」です。
含まれる内容
1. 厳選された大規模言語モデル面接問題集
基礎から最先端までの実践的な問題をカバーし、就職面接の準備に役立ちます。
2. 体系的な論文精読
2017 年の Transformer 基礎論文から始まり、知識体系に沿って技術の進化を整理します。README には 30 以上の論文がリストアップされ、各論文には概要、ビデオ解説、ウェブサイト学習リンクが付属しています。論文の期間は 2017 年から 2025 年までをカバーし、以下を含みます:
- 基本アーキテクチャ:Transformer、GPT-1、BERT、GPT-2、T5、GPT-3
- ビジョンとマルチモーダル:ViT、ViLT、CLIP、DALL·E 1、DALL·E 2、LLaVA、Qwen-VL、LVM
- コードと音声:CodeX、AlphaCode、Whisper
- 生成モデル:Stable Diffusion
- アライメントとファインチューニング:InstructGPT
- オープンソースモデルシリーズ:LLaMA-1/2/3、Mistral 7B、Mixtral 8x7B、Gemma 1/2/3、DeepSeek-V2/V3/R1、ChatGLM、Qwen 1
3. 厳選された実践コース
AI Agent、RAG 知識ベース、大規模言語モデルのファインチューニング、LLM アプリ開発などの方向性に焦点を当て、中国語の実践コースを提供します。LangChain、LlamaIndex、Dify、MCP などの主要なツールチェーンをカバーし、プロジェクトコードと講師による質疑応答が付属します。
4. 「AGI への道」体系的な記事
これはプロジェクトの主要コンテンツで、章ごとに構成され、全 11 章です:
| 章 | テーマ |
|---|---|
| 序章 | AGI への道(大規模モデル年間論文総括、Scaling Law、知能の創発などを含む) |
| 第一章 | 大規模モデルの Pre-Training(アーキテクチャ、オプティマイザ、活性化関数、Attention、位置エンコーディング、Tokenizer、並列戦略、トレーニングフレームワーク) |
| 第二章 | 大規模モデルのデプロイと推論 |
| 第三章 | 大規模モデルのファインチューニング |
| 第四章 | 大規模モデルの量子化 |
| 第五章 | グラフィックカードと大規模モデルの並列処理 |
| 第六章 | Prompt Engineering |
| 第七章 | Agent(RAG を含む) |
| 第八章 | 大規模モデルの企業導入 |
| 第九章 | 大規模モデルの評価指標 |
| 第十章 | ホットトピック |
| 第十一章 | 数学 |
各章には複数の具体的な記事が含まれます。例えば:
- オプティマイザシリーズ(SGD、Momentum、Adam、AdamW など 12 記事)
- 活性化関数シリーズ(Sigmoid、ReLU、GELU、SwiGLU など 6 記事)
- Attention メカニズム(FlashAttention、Multi-Query Attention、MLA など)
- 位置エンコーディング(RoPE、オイラーの公式など)
- Tokenizer シリーズ(6 記事)
- 並列戦略(データ並列、パイプライン並列、テンソル並列など)
- トレーニングフレームワーク(FSDP、DeepSpeed、Megatron-LM、Accelerate)
- 推論フレームワーク(vLLM、TGI、TensorRT-LLM、Ollama)
- ファインチューニング手法(LoRA、QLoRA、AdaLoRA、P-Tuning、Prefix-Tuning など)
付属リソース
- ウェブサイト:LearnLLM.AI(コース、論文学習パスを提供)
- ビデオチュートリアル:Bilibili と YouTube で継続更新
- 割引コード:GitHub ユーザー向けに限定割引コード GITHUB50
- コミュニティ:WeChat 公式アカウント、Zhihu、CSDN、Juejin
言語サポート
プロジェクトは中国語、英語、ロシア語の 3 つの言語バージョンを提供します。
対象読者
コンテンツ構成に基づき、さまざまなレベルの開発者に適しています:大規模モデルの原理をゼロから学びたい初心者から、就職面接の準備や体系的なスキル向上が必要な開発者、そして実践コース(Agent、RAG、ファインチューニング)を必要とする実務者まで。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト