jingyaogong/minimind

MiniMind: 從零開始訓練的微型 LLM

MiniMind 是一個實作性的開源專案，向您展示如何完全從零開始構建一個小巧但功能齊全的大型語言模型 (LLM)。其核心主張是，您可以在約 3 元人民幣（不到 1 美元）的計算成本和僅 2 小時的訓練時間內，訓練一個約 6400 萬參數的模型。

MiniMind 不僅僅是使用 LoRA 對現有巨型模型進行微調，它還提供了完整的代碼流水線，讓您可以親自完成一切：數據收集與清洗、訓練分詞器 (tokenizer)、預訓練基礎模型、監督式微調 (SFT)，以及使用 DPO、PPO、GRPO 和 CISPO 等現代強化學習技術進行對齊。它甚至包含針對混合專家模型 (MoE)、視覺和基於擴散的語言模型的實驗性變體。

該專案旨在用於教育和實驗。它包含用於訓練、評估和推理服務的腳本，並提供了一個與 OpenAI 相容的 API 伺服器，因此您可以將訓練好的模型接入標準的聊天介面 (如 FastGPT 或 Open-WebUI)，或透過 Ollama 或 vLLM 進行部署。