YeonwooSung/llm-architecture-from-scratch

解决的问题

本项目提供了流行大语言模型 (LLM) 架构的简洁、教育性从零实现。它旨在帮助开发者和研究人员深入、实际地理解现代 AI 模型是如何构建的，从底层的注意力机制到复杂的组件（如混合专家模型 MoE）。

工作原理

该仓库包含针对特定知名模型（如 Llama 3、DeepSeek v3 和 Gemma 3）的模块化代码库。每个文件夹都实现了模型特定的架构选择——例如归一化层（LayerNorm 与 RMSNorm）、位置编码 (RoPE) 以及注意力变体（分组查询注意力或滑动窗口）——允许用户检查代码，查看这些组件如何在功能性模型中交互。

适用人群

本项目适合那些希望超越高层 API 使用，并深入了解最先进 LLM 架构底层实现细节的学生、机器学习工程师和研究人员。

亮点

• 包含从 3B 到 671B 参数的各种模型规模的实现。
• 涵盖了多种架构特性，包括混合专家模型 (MoE) 和多模态能力。
• 实现了现代注意力机制，如分组查询注意力 (GQA) 和滑动窗口注意力。
• 提供了不同模型系列中归一化和位置编码技术的清晰对比。