wdndev/llm_interview_note

这是什么？

llm_interview_note 是一个个人、开源的学习指南和面试准备集合，专注于大型语言模型（LLMs）——即ChatGPT等工具背后的技术。作者从在线资源中收集概念，并自己撰写了常见面试问题的答案。

里面有什么？

该仓库组织为一组结构化的笔记，涵盖LLM的完整生命周期：

• LLM基础 — 历史、分词、词向量、语言模型、深度学习基础
• 模型架构 — Transformer、注意力机制、位置编码、BERT以及知名模型（LLaMA系列、ChatGLM系列）
• 训练数据 — 数据集格式和模型参数
• 分布式训练 — 数据并行、流水线并行、张量并行、DeepSpeed、Megatron以及内存问题
• 监督微调 — 提示、适配器调优、LoRA，以及LLaMA2和ChatGLM3的实用微调示例
• 推理 — 框架（vLLM、FasterTransformer、TensorRT-LLM）、优化技术和量化
• 强化学习 — PPO、RLHF、DPO
• RAG与智能体 — 检索增强生成和智能体技术
• 评估 — 模型评估和LLM幻觉
• 应用 — 思维链提示和LangChain
• 真实面试问题 — 专门部分，包含实际面试问题

每个主题都是一个单独的markdown文件，整个内容可以在线作为网站阅读。

适合谁？

准备LLM相关求职面试的人，或希望获得LLM概念结构化概述的人。作者指出答案是自己撰写的，并欢迎指正。

相关实践项目

README链接到几个配套仓库，用于实践学习：

• tiny-llm-zh — 从零构建一个小型中文LLM（预训练、微调、RL）
• tiny-rag — 构建一个简单的RAG系统，支持多召回和重排序
• tiny-mcp — 使用提示和函数调用实现MCP（模型上下文协议）服务器/客户端
• llama3-from-scratch-zh — 从零实现LLaMA3，可在16GB RAM的笔记本电脑上运行

还有一个更广泛的AI工程师面试笔记，涵盖深度学习、机器学习和推荐系统。

如何访问

• 在线阅读：LLMs Interview Note
• GitHub：仓库本身（如果有用，请加星，按作者要求）
• 作者还运营一个微信公众号，发布LLM内容和面试经验（README中有二维码）。

重要提示

内容由作者自行撰写，并非官方或同行评审来源。作者明确要求读者指出任何不准确之处。