datawhalechina/happy-llm

プロジェクト概要

Happy-LLM は Datawhale オープンソースコミュニティが提供する体系的な大規模言語モデル（LLM）学習チュートリアルで、ゼロから LLM の原理とトレーニングプロセスを深く理解し、自分の大規模モデルを実装することを目指しています。

コアコンテンツ

チュートリアルは基礎知識と実践応用の2つの部分に分かれています：

• 基礎知識（第1〜4章）：NLP の基本概念から始まり、Transformer アーキテクチャ、事前学習言語モデル（PLM）、大規模言語モデル（LLM）の原理とトレーニング戦略に徐々に深く入り込みます。
• 実践応用（第5〜8章）：PyTorch と Transformers フレームワークに基づき、完全な LLaMA2 モデルを構築してトレーニングし、事前学習、教師ありファインチューニング、LoRA/QLoRA 効率的ファインチューニング、モデル評価、RAG（検索拡張生成）、Agent（エージェント）などの最先端アプリケーションをカバーします。

さらに、プロジェクトには Extra Chapter も含まれており、コミュニティが貢献した LLM 学習ノートやブログを収録し、継続的に更新されています。

学習の成果

• Transformer アーキテクチャとアテンションメカニズムを深く理解する
• 事前学習言語モデルの基本原理を習得する
• 既存の大規模モデルの基本構造を理解する
• 完全な LLaMA2 モデルを実装する
• 事前学習からファインチューニングまでの全プロセスを習得する
• RAG、Agent などの最先端技術を実践する

対象者

大学生、研究者、LLM 愛好家。Python プログラミングの経験がある程度あることを推奨し、深層学習と NLP の基本概念を理解していることが望ましいです。

学習方法

• プロジェクトは完全に無料で、オンライン読書アドレスと PDF 版のダウンロードを提供しています。
• 章の順序に従って学習し、コード実践と組み合わせることを推奨します。
• 章ごとに依存関係が異なるため、独立した Python 環境を使用することを推奨します。
• 問題が発生した場合は GitHub Issue セクションで質問できます。

貢献方法

バグ報告、機能提案、コンテンツ改善、コード最適化（Pull Request の提出）など、あらゆる形式の貢献を歓迎します。

オープンソースライセンス

クリエイティブ・コモンズ 表示-非営利-継承 4.0 国際ライセンス（CC BY-NC-SA 4.0）を採用しています。

その他のリソース

• 付属の教育用講義 PPT リソースを提供しています。
• 2つの事前学習モデル（Base および SFT バージョン）をダウンロードして体験できます。
• プロジェクトは Datawhale コミュニティによって保守されており、主要な貢献者には宋志学、邹雨衡などが含まれます。