jingyaogong/minimind

何を解決するか

MiniMindは、大規模言語モデル（LLM）開発への入り口を低くすることで、個人が実用的な超小型言語モデル（約64Mパラメータ）を消費向けGPUでゼロから訓練できるようにします。巨大モデルの「ブラックボックス」性や、サードパーティフレームワークの高レベルな抽象化を回避します。

動作方法

このプロジェクトは、透明性を確保するために高レベルなライブラリ抽象化を避け、ネイティブPyTorchで完全なLLMトレーニングパイプラインを実装しています。Transformer Decoder-Onlyアーキテクチャ（Qwen3エコシステムと整合）を採用し、DenseおよびMixture-of-Experts（MoE）の両方の構成をサポートします。パイプラインは、トークナイザーの学習、事前学習、監視付き微調整（SFT）、LoRA、RLHF（DPO）、RLAIF（PPO/GRPO/CISPO）、ツール利用、モデル蒸留まで、すべてのライフサイクルをカバーしています。

対象ユーザー

• コードをゼロから書くことでLLMの内部メカニズムを理解したいAI初心者や学生。
• LLM実験の軽量で再現可能な出発点を探している開発者。
• 1台のNVIDIA 3090など限られたハードウェアを持っているが、フルトレーニングプロセスを体験したいユーザー。

特徴

• 超軽量: 最小バージョンはGPT-3の約1/2700のサイズであり、高速なトレーニングが可能（単一の3090でSFTは約2時間で完了）。
• フルスタック実装: 高レベルなラッパーに依存せず、事前学習、SFT、RLHF、RLAIFをネイティブPyTorchで実装。
• 広範な互換性: 推論において transformers、llama.cpp、vllm、ollama と互換性があります。
• 高度な機能: MoE、長文外挿用のYaRN、ツール利用シナリオ向けのエージェント型RL、適応的思考チェーンをサポート。