jingyaogong/minimind

MiniMind: スクラッチから学習させる超小型LLM

MiniMindは、完全にゼロから、小さくても機能的な大規模言語モデル（LLM）を構築する方法を示す、実践的なオープンソースプロジェクトです。主な主張は、約6400万パラメータのモデルを、計算コストわずか約3元（1ドル未満）、学習時間わずか2時間で学習できるということです。

既存の巨大なモデルをLoRAでファインチューニングするだけではなく、MiniMindは、データの収集とクリーニング、トークナイザーの学習、ベースモデルの事前学習、教師ありファインチューニング（SFT）、そしてDPO、PPO、GRPO、CISPOといった現代的な強化学習手法を用いたアライメントまで、すべてを自分で行うための完全なコードパイプラインを提供します。さらに、Mixture-of-Experts (MoE)、ビジョン、および拡散ベースの言語モデルの実験的なバリエーションも含まれています。

このプロジェクトは、教育と実験のために設計されています。学習、評価、およびサービングのためのスクリプトが含まれており、OpenAI互換のAPIサーバーも提供されているため、学習したモデルをFastGPTやOpen-WebUIのような標準的なチャットUIに接続したり、OllamaやvLLMを介してデプロイしたりすることができます。