OpenBMB/MiniCPM-V

MiniCPM‑V 4.7 と MiniCPM‑o 4.5 – デバイス上で動作するマルチモーダル LLM

概要 – 清華大学 NLP グループ（THUNLP）と ModelBest がリリースしたオープンソースのマルチモーダル大規模言語モデル（LLM）ファミリーです。

MiniCPM‑V 4.7：視覚‑言語モデル（画像、複数画像、動画、ドキュメント）で、2 つのサイズがあります – 350 億パラメータの Mixture‑of‑Experts（MoE）バリアント（35B‑A3B）と軽量な 10 億パラメータ版。
MiniCPM‑o 4.5：90 億パラメータの「オムニモーダル」モデルで、ビデオ + オーディオを継続的に入力しながら、テキストと音声をリアルタイムで生成できます。

重要な理由

スマートフォンでスムーズに動作する初のオープンソース MoE – Lookahead Expert Scheduling（LES）技術により、35B‑A3B モデルは iPhone 17 Pro Max 上で約 3 GB の RAM のみを使用して >13 tokens / s のデコード速度を実現します。
性能と効率の最前線 – 35B‑A3B と 1B の両バリアントは、同等の商用モデル（Qwen 3.6 35B‑A3B、Qwen 3.5 0.8B）を全体的なベンチマークスコアで上回り、推論時間も短縮しています。
全二重オムニモーダル対話 – MiniCPM‑o 4.5 は、ビデオを見ながら、オーディオを聞き、同時に話すことができ、ライブでプロアクティブなアシスタント（例：カメラが見たものによってトリガーされるリマインダー）を可能にします。
クロスプラットフォーム展開 – iOS、Android、HarmonyOS、および幅広い CPU/NPU（Intel、AMD、Arm、Rockchip、Houmo）をサポートしています。
Self‑Replay Fine‑Tuning（SRFT） – 既存のスキルの忘却を最小限に抑えながら新しい能力を追加する低コストのファインチューニング手法です。

コア機能

モデル	視覚	音声	言語	対話モード
MiniCPM‑V 4.7（35B‑A3B / 1B）	画像、複数画像、動画、ドキュメント理解（混合 4×/16× ビジュアルトークン圧縮）	–	テキスト生成、指示追従、推論	指示と推論モード（オフライン推論）
MiniCPM‑o 4.5（9B）	リアルタイム視覚理解（Gemini 2.5 Flash に迫る）	バイリンガル音声認識と音声合成、音声クローン	テキスト生成	ビデオ + オーディオ入力の全二重ライブストリーミング、テキスト + 音声出力

はじめに（クイックリンク）

モデルウェイト – Hugging Face リポジトリ：MiniCPM‑V‑4.7‑35B‑A3B、MiniCPM‑V‑4.7‑1B、MiniCPM‑o‑4.5。
推論 – 提供されている Transformers 互換スクリプト（docs/...#inference-with-transformers）または llama.cpp‑omni ランタイムを使用して、デバイス上で MoE 推論を行います。
ファインチューニング – SRFT と LLaMA‑Factory/Swift トレーニングのガイドは docs/deployment_en.md にあります。
ライブデモ – MiniCPM‑V 4.7 の Hugging Face Space と MiniCPM‑o 4.5 のウェブデモ。
API – docs/api.md で説明されている REST スタイル API（両モデルで利用可能）。
クックブック – デプロイ、プロンプトエンジニアリング、ツール統合のためのコミュニティレシピ：https://github.com/OpenSQZ/MiniCPM-V-CookBook。

誰が使うか

モバイル AI 開発者 – デバイス上で動作する強力な視覚‑言語モデルが必要な方（プライバシー優先アプリ、AR、オフライン OCR、ドキュメント分析）。
リアルタイムアシスタント – 同時に見て、聞いて、話す必要があるもの – 例：スマートホームハブ、ロボットコンパニオン、ライブストリームモデレーションツール。
研究者 – 効率的な MoE 推論、マルチモーダルトークン圧縮、または全二重対話パイプラインを探求している方。
教育者と愛好家 – クラウドコストなしでローカルに実行できる最先端のマルチモーダル LLM を探している方。

コミュニティとエコシステム

Discord、WeChat、Feishu グループでサポートとコラボレーション。
MiniCPM に基づくサードパーティプロジェクト（デジタルヒューマンチャット、OCR パイプライン、ComfyUI 統合）。
論文リファレンス – モデルと LES 技術を説明する arXiv プレプリント（引用ブロックを参照）。

ライセンスと使用

コードとモデルウェイトは Apache‑2.0 ライセンスでリリースされています。
商用利用は別のモデル固有ライセンスが適用されます（docs/project_en.md#model-license を参照）。

TL;DR

MiniCPM‑V 4.7 は、350 億パラメータの MoE 視覚‑言語モデルをスマートフォンにリアルタイム速度で提供し、MiniCPM‑o 4.5 は、同時に見て、聞いて、話すことができる初のオープンソース 90 億オムニモーダルモデルを提供します。どちらも完全にオープンソースで、クロスプラットフォームであり、ドキュメント、デモ、ファインチューニングレシピが付属しています。