OpenBMB/MiniCPM

解決する課題

MiniCPMは、オンデバイスでのローカル展開やリソースが制限された環境向けに設計された、軽量かつ高性能な言語モデルシリーズです。1Bから2Bパラメータクラスで最先端（SOTA）の性能を提供し、巨大なクラウドインフラを必要とせずに、コーディング、数学、エージェントタスクといった強力なAI機能をエッジデバイス上で実現することを目的としています。

仕組み

本プロジェクトでは、密なTransformerアーキテクチャ（具体的には LlamaForCausalLM）と、UltraData Tiered Data Managementと呼ばれる高度なトレーニングパイプラインを利用しています。このプロセスは3つの段階で構成されます。

1. ベーストレーニング (Base Training)：言語の核となる安定性と能力を確立します。
2. ミッドトレーニング (Mid-training)：特定のターゲット能力を強化し、ターゲットとなるデータ分布にモデルを適応させます。
3. ポストトレーニング (Post-training)：ディープシンキングデータを用いた教師あり微調整（SFT）、批評家ベースのアルゴリズムを用いた強化学習（RL）、およびオンポリシー蒸留（OPD）を採用し、複数の専門家RLモデルの能力を単一のリリースモデルに統合します。

対象ユーザー

ローカルアシスタント、コーディングエージェント、ツール使用ワークフローを構築する開発者、および計算リソースが限られた環境で高い推論能力を必要とするユーザーを対象としています。

ハイライト

• 2BクラスのSOTA：MiniCPM5-2Bは、同規模の他のオープンソースモデルを凌駕し、4Bクラスのモデルとも競合する性能を維持しています。
• オンデバイス最適化：ローカル展開とリソースが制限されたシナリオ向けに特別に構築されています。
• 長文コンテキスト対応：最大131,072トークンまでのコンテキスト長をネイティブでサポートしています。
• 高品質なオープンデータ：コミュニティを支援するため、付随するトレーニングデータセット（UltraX, UltraData-Codeなど）を公開しています。
• 幅広い展開サポート：vLLM, SGLang, Llama.cpp, Transformersと互換性があります。