logitcai/tinybrain
A Chinese-first small language model built from scratch: open 60B-token dataset, tokenizer, mHC + Engram + MoE model, pretraining through RL, all in PyTorch. 从零做中文小模型,数据和代码全部开源
解決する課題
実用的な中国語言語モデルをトレーニングするには、通常、トークナイザー、事前学習コーパス、モデルアーキテクチャ、教師あり微調整、強化学習、推論ランタイムなど、多くの個別の要素を組み立てる必要があります。tinybrainは、パイプライン全体を1つのコードベースにパッケージ化することでこれに対処します。これにより、単一の開発者が不透明なブラックボックスやクローズドソースのコンポーネントに頼ることなく、単一のコンシューマー向けGPU上で生の公開データからチャット可能なモデルを作成できます。
仕組み
このプロジェクトは、完全に透明でモジュール化されたパイプラインを中心に構築されています。生のテキストは26の公開ソースからダウンロードされ、クリーニング、重複排除が行われ、約3500万のサンプルトークンでトレーニングされたカスタムトークナイザーを使用して4つの階層(nano、mini、base、full)の事前学習データに混合されます。モデルアーキテクチャ自体には、二重確率混合を備えたマルチストリーム残差接続 (mHC)、Engramルックアップテーブルメモリ、3:1スライディングウィンドウを備えたGQAアテンション、およびオプションの混合エキスパート (MoE) フィードフォワード層といった革新的なコンポーネントが使用されています。トレーニングは、コサインアニーリングによる事前学習、事前学習データと会話データの混合によるアニーリング、回答のみをターゲットとした教師あり微調整 (SFT)、マルチティーチャーオンライン蒸留 (MOPD)、およびGRPOによる強化学習(RLVR、エージェントRL、RLAIFをカバー)という標準的な段階を経て進められます。このプロジェクトには、Webチャットインターフェース、OpenAI互換サーバー、および一連の評価ツールも含まれています。すべては単一の tinybrain コマンドラインツールによって制御され、各段階を自動的に連結し、ステップ間でチェックポイントを保存します。
対象読者
このプロジェクトは、完全な中国語LLMトレーニングパイプラインをゼロから理解または再現したい開発者や研究者を対象としています。また、単一のGPUで小型(167Mまたは499Mパラメータ)モデルを実験したい方や、教育・研究目的で完全に透明なデータおよびトレーニングワークフローを必要とする方にも適しています。
ハイライト
- 完全なゼロからのパイプライン: データ収集、クリーニング、重複排除、トークナイザーのトレーニング、事前学習、SFT、蒸留、RL、推論、評価—すべてのコードが読みやすく、自己完結しています。
- 革新的なアーキテクチャ: 二重確率制約を備えたマルチストリーム残差接続 (mHC)、Engramルックアップテーブルメモリ、スライディングウィンドウ付きGQA、およびオプションのMoE。
- 中国語に特化した設計: トークナイザー、データ比率、評価基準は、古典中国語や詩を含め、中国語に合わせて調整されています。
- 単一GPUでの実用性: 小型モデルはRTX 5070 Ti 16GBで約20時間で約20Bトークンの事前学習が可能。23Mパラメータモデルのデモ実行はM4 Maxで約3.3時間で完了します。
- 高度な計測機能: ログには損失、勾配ノルム、速度、ETAが表示され、TensorBoard同期およびベンチマークツールが含まれています。
- 公開された重み: 小型および中型のチャット研究用重みがModelScopeで利用可能であり、対応するランタイムも提供されています。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト