YeonwooSung/llm-architecture-from-scratch

解決する課題

このプロジェクトは、一般的な大規模言語モデル (LLM) アーキテクチャのクリーンで教育的なゼロからの実装を提供します。開発者や研究者が、基礎となるアテンションメカニズムから混合エキスパート (MoE) のような複雑なコンポーネントに至るまで、現代の AI モデルがどのように構成されているかを深く実践的に理解できるように設計されています。

仕組み

このリポジトリには、特定の有名なモデル（Llama 3、DeepSeek v3、Gemma 3など）のためのモジュール化されたコードベースが含まれています。各フォルダには、正規化レイヤー (LayerNorm vs. RMSNorm)、位置エンコーディング (RoPE)、アテンションのバリエーション (Grouped-Query Attention や Sliding Window) といった、モデル固有のアーキテクチャ上の選択が実装されており、ユーザーはコードを検証して、これらのコンポーネントが機能的なモデル内でどのように相互作用するかを確認できます。

対象読者

このプロジェクトは、高レベルな API の使用を超えて、最先端の LLM アーキテクチャの低レベルな実装詳細を理解したい学生、機械学習エンジニア、および研究者を対象としています。

ハイライト

• 3B から 671B パラメータまで、幅広いモデルサイズのインプリメンテーションを含みます。
• 混合エキスパート (MoE) やマルチモーダル機能を含む、多様なアーキテクチャ機能をカバーしています。
• Grouped-Query Attention (GQA) やスライディングウィンドウアテンションといった現代的なアテンションメカニズムを実装しています。
• 異なるモデルファミリー間での正規化および位置エンコーディング技術の明確な比較を提供します。