llm-beginner：透過從頭實作的漸進式實作課程，掌握 LLM 與 AI 代理人

它解決了什麼問題

本專案提供一條結構化、實作導向的學習路徑，讓初學者能夠掌握大型語言模型（LLM）與 AI 代理人。它彌合了理論知識與實務實作之間的鴻溝，透過六個漸進式任務，從基礎的 Transformer 架構一路導向複雜的自主程式碼代理人。

它如何運作

使用者依序完成六個獨立任務，每個任務設計為可在數週內完成。學習方法強調「先從頭寫，再與框架比較」，以確保對底層原理有深入的理解。每個任務都包含其專屬的相依套件、資料下載腳本與自我檢查腳本，用以驗證實作的正確性。

1. Transformer 基礎：實作自注意力機制與 Transformer 區塊，用於文字分類。
2. mini‑GPT：從頭構建僅解碼器模型，涵蓋 BPE 分詞、RoPE 與 KV 快取。
3. SFT 與 DPO：使用 LoRA 在基礎模型上執行監督式微調（Supervised Fine‑Tuning）與直接偏好最佳化（Direct Preference Optimization）。
4. RAG：建構檢索增強生成（Retrieval‑Augmented Generation）管線，結合嵌入模型、向量資料庫（FAISS）與重新排序模型。
5. 工具代理人：實作 ReAct 迴圈，使 LLM 能使用外部工具（計算機、沙箱、API）。
6. 程式碼代理人：打造一個能修改本機程式碼並執行測試的高階代理人，使用 MCP（Model Context Protocol）、Skills 與 Subagents。

適合對象

具備 Python 與深度學習基礎，且想透過實作、以程式碼為中心的練習，進入 LLM 與 AI 代理人領域的學習者。

重點特色

• 漸進式課程：從基礎架構逐步到進階代理工作流程。
• 實作驗證：每個任務皆提供 eval/run.py 腳本，即時回饋實作正確性。
• 硬體友好：設計可在消費級 GPU（8GB‑16GB VRAM）或 Mac M 系列晶片上執行。
• 完整技術棧：涵蓋 RoPE、LoRA、DPO、RAG、ReAct 與 MCP 等現代技術。