logitcai/tinybrain

A Chinese-first small language model built from scratch: open 60B-token dataset, tokenizer, mHC + Engram + MoE model, pretraining through RL, all in PyTorch. 从零做中文小模型,数据和代码全部开源

解决的问题

训练一个可用的中文语言模型通常需要整合许多独立的部分:分词器、预训练语料库、模型架构、监督微调、强化学习和推理运行时。tinybrain 通过将整个流水线打包到一个代码库中解决了这个问题,使单个开发者能够在单张消费级显卡上从原始公共数据构建出可对话的模型,而无需依赖不透明的黑盒或闭源组件。

工作原理

该项目围绕一个完全透明、模块化的流水线构建。原始文本从 26 个公共来源下载,经过清洗、去重,并使用在约 3500 万采样 token 上训练的自定义分词器混合成四个层级的预训练数据(nano、mini、base、full)。模型架构本身使用了创新组件:具有双随机混合的多流残差连接 (mHC)、Engram 查找表内存、具有 3:1 滑动窗口的 GQA 注意力机制,以及可选的专家混合 (MoE) 前馈层。训练过程遵循标准阶段:余弦退火预训练、结合预训练与对话数据的退火、针对仅回答目标的监督微调 (SFT)、多教师在线蒸馏 (MOPD),以及通过 GRPO 进行的强化学习(涵盖 RLVR、智能体 RL 和 RLAIF)。该项目还包括一个网页聊天界面、一个兼容 OpenAI 的服务器以及一套评估工具。一切均由单个 tinybrain 命令行工具控制,该工具可自动链接各个阶段,并在步骤之间保存检查点。

适用人群

本项目旨在帮助开发者和研究人员理解或从零复现完整的中文 LLM 训练流水线。它也适用于那些希望在单张 GPU 上试验小型(167M 或 499M 参数)模型,或需要用于教育或研究目的的完全透明数据和训练工作流的用户。

亮点

  • 完整的从零流水线:数据收集、清洗、去重、分词器训练、预训练、SFT、蒸馏、RL、推理和评估——所有代码均可读且自包含。
  • 创新架构:具有双随机约束的多流残差连接 (mHC)、Engram 查找表内存、带滑动窗口的 GQA 以及可选的 MoE。
  • 中文专注设计:分词器、数据比例和评估准则均针对中文进行了定制,包括古文和诗歌。
  • 单 GPU 实用性:小型模型可在 RTX 5070 Ti 16GB 上用约 20 小时预训练约 20B token;在 M4 Max 上运行 23M 参数模型的演示仅需约 3.3 小时。
  • 高度仪表化:日志显示损失、梯度范数、速度和预计剩余时间;包含 TensorBoard 同步和基准测试工具。
  • 公开权重:小型和中型聊天研究权重已在 ModelScope 上发布,并附带匹配的运行时。

相关

  • 项目
  • 项目
  • 项目
  • 项目