Exorust/TorchLeet

TorchLeet — 它是什么

TorchLeet 是一个免费的开源集合，包含 68 个 PyTorch 编码问题，这些问题来自 Google、Meta、Anthropic、OpenAI 和 DeepMind 等公司的真实机器学习和 AI 工程面试。作者根据实际面试问题的第一手报告汇编了这份列表。

工作原理

• 每个问题都以 Jupyter 笔记本 形式提供，包含问题文件和单独的 _SOLN 解决方案文件。
• 你打开问题笔记本，填写 ... 和 #TODO 块，然后将你的工作与解决方案进行比较。
• README 明确警告 不要使用 GPT 或其他 AI 来解决问题 — 关键在于自己努力解决，以深入理解 PyTorch。（作者指出他们使用 GPT 起草了一些初始代码，但亲自解决并测试了每个问题。）

三个轨道

轨道	重点	问题数
基础	核心 PyTorch、经典机器学习、基础	24
LLM 学习路径	按顺序从零构建 LLM	23
高级	系统、内核、现代架构、对齐	48

问题在轨道之间重叠。许多问题都标记了据称会问这些问题的公司。

LLM 学习路径

一个引导序列，一次一个问题地从零构建完整的 LLM：

1. 基础 — 字节对编码、正弦嵌入、ROPE 嵌入、RMS 归一化、从头实现注意力
2. 核心 Transformer — 多头注意力、分组查询注意力、KV 缓存、滑动窗口注意力
3. 完整模型 — 从头实现 SmolLM
4. 对齐与微调 — KL 散度损失、LoRA、在 SmolLM 上进行 SFT、DPO 损失、用于 RLHF 的 PPO、GRPO（DeepSeek-R1）
5. 解码与推理 — 温度采样、top-k、top-p、推测解码、连续批处理、完整的推理引擎
6. 系统 — 混合专家层

高级主题

• 现代架构：CLIP 对比损失、2D 位置嵌入、知识蒸馏、DDPM 扩散、DDIM + 无分类器引导、Mamba、Vision Transformer + MAE、Swin Transformer
• 对齐：LoRA、DPO、PPO、梯度检查点、GRPO
• 推理系统：KV 缓存、推测解码、连续批处理、GPTQ 量化、RAG 嵌入搜索、完整推理引擎
• GPU 内核：Triton 中的融合 softmax、Triton 中的 FlashAttention-2、FSDP、环形注意力
• 硬核基础：自定义自动求导、从头实现 Transformer、GAN、带注意力的 seq2seq、可解释 AI

AI 导师（MCP 服务器）

该项目包含一个 MCP 服务器（torchleet-mcp），可将 AI 助手（Claude Code、Codex、Claude Desktop、Cursor、VS Code）连接到问题集。它提供四个学习指南：

• torchleet-tutor — 通过问题提供渐进式提示
• torchleet-interview-prep — 针对特定公司的限时模拟面试
• torchleet-review — 高级 ML 工程师角色审查你的代码
• torchleet-explain — 从直觉到数学再到代码的深入探讨

AI 导师强制执行 不剧透的教学风格 — 它进行辅导而不是给出答案。

公司快速参考

README 包含一个表格，将公司映射到优先问题（例如，Anthropic 的列表包括对比损失、2D 位置嵌入、top-p 采样、KV 缓存、DPO、PPO、推测解码、Mamba、FSDP、GRPO、环形注意力）。

开始使用

# 首先安装 PyTorch（pytorch.org）
# 克隆仓库，然后运行笔记本：
jupyter notebook torch/basic/lin-regression/lin-regression.ipynb

还有一个配套网站 torch-leet.vercel.app，提供终端界面和 AI 导师设置说明。