Exorust/TorchLeet

LeetCode for PyTorch — 65 ML/AI interview problems from real interviews at Google, Meta, Anthropic. Jupyter notebooks, an auto-grader, and an MCP AI tutor.

TorchLeet — 무엇인가

TorchLeet은 Google, Meta, Anthropic, OpenAI, DeepMind와 같은 회사들의 실제 머신러닝/AI 엔지니어링 인터뷰에서 수집된 68개의 PyTorch 코딩 문제를 무료로 제공하는 오픈소스 컬렉션입니다. 저자는 실제 인터뷰 질문에 대한 직접 보고를 바탕으로 목록을 작성했습니다.

작동 방식

각 문제는 Jupyter 노트북으로 제공되며, 질문 파일과 별도의 _SOLN 해답 파일이 포함됩니다.
질문 노트북을 열고 ... 및 #TODO 블록을 채운 다음, 자신의 작업을 해답과 비교합니다.
README에는 GPT나 다른 AI를 사용하여 문제를 풀지 말 것이라는 명시적인 경고가 있습니다 — 핵심은 스스로 고민하며 PyTorch를 깊이 이해하는 것입니다. (저자는 초기 코드 작성에 GPT를 사용했지만 모든 문제를 개인적으로 풀고 테스트했다고 언급합니다.)

세 가지 트랙

트랙	초점	문제 수
기초	핵심 PyTorch, 고전 ML, 기초	24
LLM 학습 경로	순서대로 처음부터 LLM 구축	23
고급	시스템, 커널, 현대 아키텍처, 정렬	48

문제는 트랙 간에 겹칩니다. 많은 문제에는 해당 질문을 한다고 알려진 회사가 태그되어 있습니다.

LLM 학습 경로

처음부터 완전한 LLM을 한 번에 하나씩 구축하는 안내된 시퀀스:

기초 — 바이트 페어 인코딩, 정현파 임베딩, ROPE 임베딩, RMS 정규화, 처음부터 어텐션
핵심 Transformer — 멀티헤드 어텐션, 그룹 쿼리 어텐션, KV 캐시, 슬라이딩 윈도우 어텐션
전체 모델 — SmolLM을 처음부터 구현
정렬 및 미세 조정 — KL 발산 손실, LoRA, SmolLM에서 SFT, DPO 손실, RLHF용 PPO, GRPO (DeepSeek-R1)
디코딩 및 추론 — 온도 샘플링, top-k, top-p, 추측 디코딩, 연속 배치, 완전한 추론 엔진
시스템 — 혼합 전문가 레이어

고급 주제

현대 아키텍처: CLIP 대조 손실, 2D 위치 임베딩, 지식 증류, DDPM 확산, DDIM + 분류기 없는 안내, Mamba, Vision Transformer + MAE, Swin Transformer
정렬: LoRA, DPO, PPO, 그래디언트 체크포인팅, GRPO
추론 시스템: KV 캐시, 추측 디코딩, 연속 배치, GPTQ 양자화, RAG 임베딩 검색, 완전한 추론 엔진
GPU 커널: Triton에서의 융합 softmax, Triton에서의 FlashAttention-2, FSDP, 링 어텐션
하드 기초: 커스텀 autograd, 처음부터 Transformer, GAN, 어텐션이 있는 seq2seq, 설명 가능한 AI

AI 튜터 (MCP 서버)

이 프로젝트에는 AI 어시스턴트(Claude Code, Codex, Claude Desktop, Cursor, VS Code)를 문제 세트에 연결하는 MCP 서버(torchleet-mcp)가 포함되어 있습니다. 네 가지 학습 가이드를 제공합니다:

torchleet-tutor — 문제를 통해 점진적 힌트 제공
torchleet-interview-prep — 특정 회사에 대한 시간 제한 모의 인터뷰
torchleet-review — 시니어 ML 엔지니어 페르소나가 코드를 검토
torchleet-explain — 직관에서 수학, 코드까지 심층 탐구

AI 튜터는 스포일러 없는 교육 스타일을 강제합니다 — 답을 주지 않고 코칭합니다.

회사 빠른 참조

README에는 회사를 우선 문제에 매핑하는 표가 포함되어 있습니다 (예: Anthropic의 목록에는 대조 손실, 2D 위치 임베딩, top-p 샘플링, KV 캐시, DPO, PPO, 추측 디코딩, Mamba, FSDP, GRPO, 링 어텐션이 포함됩니다).

시작하기

# 먼저 PyTorch를 설치하세요 (pytorch.org)
# 저장소를 클론한 다음 노트북을 실행하세요:
jupyter notebook torch/basic/lin-regression/lin-regression.ipynb

터미널 인터페이스와 AI 튜터 설정 지침이 있는 동반 웹사이트 torch-leet.vercel.app도 있습니다.