afshinea/stanford-cme-295-transformers-large-language-models

VIP cheatsheet for Stanford's CME 295 Transformers and Large Language Models

解决的问题

本项目为斯坦福大学 CME 295 课程《Transformer 与大型语言模型》（LLM）中讲授的复杂概念提供了集中、简洁的参考，帮助学生和从业者巩固对该领域的理解。

工作原理

该仓库提供了一份全面的“VIP 速查表”，将核心技术主题汇总为单一、易访问的格式。它作为《超级学习指南》一书的配套资源，该书为同一课程提供了深入的讲解和视觉辅助。

适用对象

专为斯坦福大学 CME 295 课程的学生以及任何寻求现代 AI 架构和训练技术结构化概述的学习者或专业人士设计。

亮点

  • 涵盖基础 Transformer 架构，包括自注意力及其变体。
  • 详细介绍 LLM 训练方法，如微调（SFT、LoRA）和偏好调优（RLHF、DPO）。
  • 解释技术优化，如分布式训练、KV 缓存和投机解码。
  • 包含高级应用信息，如 AI 代理和评估。
  • 提供 15 种不同语言版本，以支持全球受众。

相关

  • 项目
    changyeyu/LLM-RL-Visualized

    LLM-RL-Visualized 是一个双语、以图表为主的教育性仓库，包含 100 多张原创架构图，解释大型语言模型、强化学习及相关训练技术——分为 11 个主题部分，提供高分辨率 SVG/PNG 图片和附赠 PDF。

  • 项目
    alvinreal/awesome-opensource-ai

    该项目是一个精选的开源AI工具、模型和资源列表，分为14个类别。它优先考虑实用性而非流行度，无论星标数量多少都包含项目，并欢迎贡献。

  • 项目
    openTrinity/mycontext

    MyContext 是一款桌面应用，可将用户的工作数据（聊天、文档、会议等）持续摄取到私有的本地存储知识图谱中。该图谱可通过 LLM、本地代理或授权的 AI 应用进行查询，为它们提供更具信息量的响应所需的个人上下文层。功能包括数字自我助手、带有来源引用的自然语言搜索，以及严格的人机回环（human-in-the-loop）控制。该项目正在积极开发中，并根据 Elastic License 2.0 发布。

  • 项目
    WeThinkIn/AIGC-Interview-Book

    WeThinkIn/AIGC-Interview-Book是一个免费的、开源的、面向AI求职者的中文平台——涵盖面试准备、技术知识（AIGC、LLM、AI智能体、深度学习等）、学习路线、职业规划和社区贡献体系。它强调只学习那些已被证明具有长期价值的技术，并由一位主编和六位具有行业经验的副主编维护。