luhengshiwo/LLMForEverybody

每个人都能看懂的大模型知识分享,LLMs春/秋招大模型面试前必看,让你和面试官侃侃而谈

LLMForEverybody — 大規模言語モデルを学ぶためのオールインワン資料庫

プロジェクトの概要

これは大規模言語モデル(LLM)学習者向けのオープンソース資料庫で、付属ウェブサイトは LearnLLM.AI です。プロジェクトの核心スローガンは「Learning LLM is all you need」、つまり「大規模言語モデルを学ぶなら、ここから始めよう」です。

含まれる内容

1. 厳選された大規模言語モデル面接問題集

基礎から最先端までの実践的な問題をカバーし、就職面接の準備に役立ちます。

2. 体系的な論文精読

2017 年の Transformer 基礎論文から始まり、知識体系に沿って技術の進化を整理します。README には 30 以上の論文がリストアップされ、各論文には概要、ビデオ解説、ウェブサイト学習リンクが付属しています。論文の期間は 2017 年から 2025 年までをカバーし、以下を含みます:

  • 基本アーキテクチャ:Transformer、GPT-1、BERT、GPT-2、T5、GPT-3
  • ビジョンとマルチモーダル:ViT、ViLT、CLIP、DALL·E 1、DALL·E 2、LLaVA、Qwen-VL、LVM
  • コードと音声:CodeX、AlphaCode、Whisper
  • 生成モデル:Stable Diffusion
  • アライメントとファインチューニング:InstructGPT
  • オープンソースモデルシリーズ:LLaMA-1/2/3、Mistral 7B、Mixtral 8x7B、Gemma 1/2/3、DeepSeek-V2/V3/R1、ChatGLM、Qwen 1

3. 厳選された実践コース

AI Agent、RAG 知識ベース、大規模言語モデルのファインチューニング、LLM アプリ開発などの方向性に焦点を当て、中国語の実践コースを提供します。LangChain、LlamaIndex、Dify、MCP などの主要なツールチェーンをカバーし、プロジェクトコードと講師による質疑応答が付属します。

4. 「AGI への道」体系的な記事

これはプロジェクトの主要コンテンツで、章ごとに構成され、全 11 章です:

章 テーマ
序章 AGI への道(大規模モデル年間論文総括、Scaling Law、知能の創発などを含む)
第一章 大規模モデルの Pre-Training(アーキテクチャ、オプティマイザ、活性化関数、Attention、位置エンコーディング、Tokenizer、並列戦略、トレーニングフレームワーク)
第二章 大規模モデルのデプロイと推論
第三章 大規模モデルのファインチューニング
第四章 大規模モデルの量子化
第五章 グラフィックカードと大規模モデルの並列処理
第六章 Prompt Engineering
第七章 Agent(RAG を含む)
第八章 大規模モデルの企業導入
第九章 大規模モデルの評価指標
第十章 ホットトピック
第十一章 数学

各章には複数の具体的な記事が含まれます。例えば:

  • オプティマイザシリーズ(SGD、Momentum、Adam、AdamW など 12 記事)
  • 活性化関数シリーズ(Sigmoid、ReLU、GELU、SwiGLU など 6 記事)
  • Attention メカニズム(FlashAttention、Multi-Query Attention、MLA など)
  • 位置エンコーディング(RoPE、オイラーの公式など)
  • Tokenizer シリーズ(6 記事)
  • 並列戦略(データ並列、パイプライン並列、テンソル並列など)
  • トレーニングフレームワーク(FSDP、DeepSpeed、Megatron-LM、Accelerate)
  • 推論フレームワーク(vLLM、TGI、TensorRT-LLM、Ollama)
  • ファインチューニング手法(LoRA、QLoRA、AdaLoRA、P-Tuning、Prefix-Tuning など)

付属リソース

  • ウェブサイト:LearnLLM.AI(コース、論文学習パスを提供)
  • ビデオチュートリアル:Bilibili と YouTube で継続更新
  • 割引コード:GitHub ユーザー向けに限定割引コード GITHUB50
  • コミュニティ:WeChat 公式アカウント、Zhihu、CSDN、Juejin

言語サポート

プロジェクトは中国語、英語、ロシア語の 3 つの言語バージョンを提供します。

対象読者

コンテンツ構成に基づき、さまざまなレベルの開発者に適しています:大規模モデルの原理をゼロから学びたい初心者から、就職面接の準備や体系的なスキル向上が必要な開発者、そして実践コース(Agent、RAG、ファインチューニング)を必要とする実務者まで。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト