OpenBMB/MiniCPM

解決する課題

MiniCPM5-1Bは、リソースが制限されたシナリオでのデバイス上およびローカル展開用に設計された、コンパクトな1Bパラメータの密なTransformerモデルです。そのサイズクラスにおいて、特にメモリフットプリントが小さく抑えられている必要がある推論、コーディング、およびツール使用のワークフローにおいて、最先端（SOTA）のパフォーマンスを提供することを目指しています。

仕組み

標準的な LlamaForCausalLM アーキテクチャに基づいて構築されたこのモデルは、ベーストレーニング、中間トレーニング、ポストトレーニングの3段階のプロセスを使用してトレーニングされます。ポストトレーニングフェーズでは、ディープシンキング（deep-thinking）およびハイブリッドシンキング（hybrid-thinking）データを用いた教師あり微調整（SFT）、推論能力と信頼性を向上させるための強化学習（RL）、および専門的なRL教師から単一のリリースモデルへ知識を蒸留するためのオンポリシー蒸留（OPD）を組み合わせて活用しています。

組み込みの <think> チャットテンプレートと enable_thinking トグルを介して、単一のチェックポイントが高速なアシスタントまたは慎重な推論器のいずれとしても機能するハイブリッド推論システムを特徴としています。

対象者

• ローカルAI開発者: デバイス上のアシスタント、コーディングエージェント、またはツール使用ワークフローを構築している方。
• エッジコンピューティングユーザー: 高性能なLLMを必要とする、ハードウェアリソースが限られたユーザー。
• MLエンジニア: カスタムカーネルなしで、vLLM、SGLang、Transformersなどの主要な推論エンジンと簡単に統合できるモデルを探している開発者。

ハイライト

• 1BクラスSOTA: 推論、コード、およびエージェント的なツール使用において、同サイズの他のオープンソースモデルを凌駕します。
• ハイブリッド推論: 同一のモデルチェックポイント内で「Think」モードと「No Think」モードの両方をサポートしています。
• 標準アーキテクチャ: LlamaForCausalLM を使用しており、ほとんどの主要な推論バックエンド（vLLM, SGLang, llama.cppなど）との互換性を確保しています。
• エージェント対応のデプロイ: CursorやClaude Code向けに特化した「Agent Skills」を提供し、デプロイと微調整のワークフローを自動化します。
• ネイティブなツール呼び出し: XML形式のツール呼び出しを出力し、SGLangではOpenAI互換の変換のためのネイティブサポートを提供しています。