OpenBMB/MiniCPM-V-Apps

MiniCPM‑V‑Apps – オンデバイス多モーダルLLMデモ

概要 – iOS、Android、HarmonyOS向けの3つのサンプルアプリケーションで、MiniCPM‑Vファミリーの多モーダル大規模言語モデルを完全にローカルでスマートフォンやタブレット上で実行します。これらのアプリは、llama.cpp‑omni推論エンジンの薄いラッパーであり、プラットフォーム固有のバイナリ（iOS用XCFramework、Android/HarmonyOS用ネイティブライブラリ）にコンパイルされています。ユーザーはネットワーク接続なしで、テキストのみ、ビジョン拡張、またはテキスト読み上げタスクでモデルと対話できます。

主要コンポーネント

• MiniCPM‑Vモデル – 8Bパラメータから35Bパラメータの多モーダルLLM（35B版は、エキスパートシャードをSSDからストリーミングするMixture‑of‑Expertsを使用し、スマートフォンで実行可能）。
• llama.cpp‑omniサブモジュール – 人気のllama.cppライブラリのフォークで、GGUF形式のウェイト、ビジョンプロジェクタ、MoE‑SSDストリーミングロジックのサポートを追加します。
• プラットフォームデモ –
  • MiniCPM‑V‑demo/（Xcodeプロジェクト、llama.xcframeworkをビルド）。
  • MiniCPM‑V‑demo‑Android/（Gradle/Kotlinプロジェクト）。
  • MiniCPM‑V‑demo‑HarmonyOS/（DevEco Studio/ArkTSプロジェクト）。
• モデルマネージャーUI – アプリが必要なGGUFファイルをダウンロードし、チェックサムを検証し、デバイス上で整理できます。

実行方法

1. サブモジュールを含むリポジトリを浅くクローンします（約数十MB）。完全なllama.cpp‑omni履歴を取得しないようにします。
2. 推論ライブラリをビルドします – iOSではscripts/build_xcframework.shを実行します（デフォルトでデバイス+シミュレータのスライスをビルド）。Android/HarmonyOSは、Gradle/NDKを介してプリコンパイルされたネイティブライブラリを取得します。
3. 適切なIDE（Xcode、Android Studio、DevEco Studio）でデモプロジェクトを開き、物理デバイスで実行します。
4. モデルの重みをダウンロード – アプリ内のモデルマネージャーを使用するか、READMEに記載されているHuggingFace/ModelScopeリンクから手動でダウンロードします。READMEには、各モデルバージョンの正確なGGUFファイルと必要なRAM/ストレージが詳しく記載されています。

サポートされているモデルとハードウェアのヒント

モデル	パラメータ	量子化	おおよそのサイズ（モデル+ビジョン）	推奨RAM
MiniCPM‑V 2.6	8B	Q4_K_M	~5.4GB	≥8GB
MiniCPM‑V 4.0	4.1B	Q4_K_M	~2.9GB	≥6GB
MiniCPM‑V 4.6	1.3B	Q4_K_M	~1.6GB	≥6GB
MiniCPM‑V 4.7 1B	1B	Q4_K_M	~1.8GB	≥4GB
MiniCPM‑V 4.7 35B‑A3B (MoE)	35B (3Bアクティブ)	Q3_K（エキスパートシャード）	~16.6GB	≥12GB、高速な内部ストレージ
MiniCPM5‑1B / MiniCPM5‑2B（テキストのみ）	1B / 2B	Q4_K_M	0.5GB / 1.5GB	≥4GB / ≥6GB
VoxCPM2 (TTS)	~2B	Q4_K_M + F16	~2.8GB	≥6GB

重要性

• 現代の多モーダルLLM、さらには35BクラスのMoEでも、モデルをストリーミングされたエキスパートシャードに分割することで、消費者向けスマートフォンで実行できることを示しています。
• 独自のiOS/Android/HarmonyOSアプリにオンデバイスAI（ビジョン言語またはTTS）を埋め込みたい開発者向けに、すぐに変更可能なコードベースを提供します。
• オープンソースのGGUF形式とllama.cppを使用し、スタックを完全に透明で拡張可能に保ちます。

詳細情報

• プリビルドされたアプリバイナリはREADMЕにリンクされています（TestFlight、APK、HAP）。
• 各GGUFモデルの詳細なダウンロードリンクは、「Part 2 – GGUF Model Files」セクションにあります。
• DOWNLOAD.mdファイルには、リリースパッケージの署名メモとMD5チェックサムが含まれています。

---

上記のすべての情報はリポジトリのREADMEから直接取得したものであり、追加の機能は推測されていません。