bbruceyuan/LLMs-Zero-to-Hero

解決する課題

このプロジェクトは、大規模言語モデル（LLM）をゼロから理解し構築するための、包括的で実践的な学習パスを提供します。理論知識と実装のギャップを埋め、学習者が初心者から熟練した実践者へと移行するのを支援します。

仕組み

このプロジェクトは「学びながら実践する」アプローチを採用し、現代のAIアーキテクチャの開発を反映したJupyter Notebookでのステップバイステップのコード実装を特徴としています。事前学習、教師あり微調整（SFT）、DPO、RLHFなど、LLMのライフサイクル全体をカバーし、基礎概念を説明するビデオチュートリアルやブログ記事も提供します。

対象読者

LLMの内部構造を習得したい開発者やAI愛好家向けに設計されています。学術論文を読むだけでなく、コードや実践的な実験を通じて学ぶことを好む人に特に役立ちます。

ハイライト

• 基本的なモデルアーキテクチャからMOEやDeepSeek-MLAなどの高度なトレーニング技術までを網羅した体系的なカリキュラム。
• コンシューマー向けハードウェア（RTX 3090/4090）で実行可能な、完全に機能する実践的なコード例。
• 主要なトピックごとに統合されたビデオチュートリアルと詳細なブログ解説。
• モデルデプロイ、推論最適化、量子化に関する実践的なガイダンス。
• LLM開発に関する今後の書籍の基盤となる構造化されたリポジトリ。