datawhalechina/base-llm

解決する課題

多くの開発者は、基礎となるNLPの知識を理解せずに、LLM APIの呼び出しやモデルのファインチューニングに直接飛び込みます。このプロジェクトは、古典的なNLP（単語ベクトル、RNN、Transformer）から現代の大規模言語モデル（BERT、GPT、Llama）への構造化された道筋を提供し、純粋な学術理論と浅いAPI利用の間のギャップを埋めます。理論と実践コードの両方を備えています。

仕組み

チュートリアルは6つの主要な部分で構成されています：理論的基礎、実践プロジェクト（テキスト分類、固有表現認識）、パラメータ効率的なファインチューニングと量子化（PEFT、LoRA、QLoRA、RLHF）、デプロイ（FastAPI、Docker、Jenkins）、LLMの安全性、そしてマルチモーダルの最前線です。「質問 → 反復 → リファクタリング」という教育スタイルを用い、単純なスクリプトがどのように産業グレードの実装に進化するかを示します。読者はTransformerやLlama2などのコアアーキテクチャをゼロから書き、プライベートデータでのQwen2.5のファインチューニングやDocker Composeでのモデルサービスのデプロイなどの実際のタスクに適用します。

対象読者

このプロジェクトは、学生、従来のML/DLからLLMへ移行するAIアルゴリズムエンジニア、深いアーキテクチャ理解を求めるLLM愛好家、そしてNLPの古典を迅速に復習する必要がある研究者を対象としています。前提条件は、しっかりしたPython、基本的なPyTorch、基礎的な深層学習の知識、そして基礎数学（線形代数、確率、勾配降下法）です。

ハイライト

• NLPの基礎から高度なLLM技術（RLHF、量子化、MoE）への進化を体系的にカバー
• ライブラリを呼び出すだけでなく、コアアーキテクチャ（Transformer、Llama2）を手書き
• 完全な実践プロジェクトを含む：テキスト分類、NER、QLoRAによるQwen2.5のファインチューニング、モデルデプロイ
• トレーニング、量子化、推論高速化、Dockerコンテナ化、サービスデプロイを含む完全なエンジニアリングライフサイクルをカバー
• 豊富な図解を使用し、重い数学を最小限に抑えて学習を容易にする