jingyaogong/minimind

MiniMind: 从零开始训练的微型 LLM

MiniMind 是一个实操性的开源项目，向您展示如何从零开始构建一个虽小但功能齐全的大语言模型 (LLM)。其核心主张是，您可以在约 3 元人民币（不到 1 美元）的计算成本和仅 2 小时的训练时间内，训练一个约 6400 万参数的模型。

MiniMind 不仅仅是使用 LoRA 对现有巨型模型进行微调，它还提供了完整的代码流水线，让您可以亲自完成一切：收集和清洗数据、训练 tokenizer、预训练基础模型、监督式微调 (SFT)，以及使用 DPO、PPO、GRPO 和 CISPO 等现代强化学习技术进行对齐。它甚至包含针对混合专家模型 (MoE)、视觉和扩散模型的实验性变体。

该项目是为教育和实验设计的。它包含了训练、评估和推理服务的脚本，它还提供了一个 OpenAI-compatible API 服务器，因此您可以将训练好的模型接入标准聊天 UI 界面（如 FastGPT 或 Open-WebUI），或通过 Ollama 或 vLLM 进行部署。