OpenBMB/MiniCPM-V-Apps

何を解決するか

このプロジェクトは、MiniCPM-Vファミリーのマルチモーダルモデルを完全にデバイス上で実行できるモバイルアプリケーションのデモを提供し、クラウドベースの推論の必要性を排除します。iOS、Android、HarmonyOS NEXTを含む複数のモバイルOSをサポートしています。

動作方法

アプリケーションは llama.cpp-omni（gitサブモジュールとして統合）を使用して、GGUF形式のモデル重みをモバイルハードウェア上でローカルに実行します。各プラットフォーム用に別々のビルドパイプラインを用意しています：iOS用にはXcodeプロジェクト、Android用にはGradle/Kotlinプロジェクト、HarmonyOS用にはDevEco Studioプロジェクトです。ユーザーは事前ビルド済みパッケージをダウンロードするか、ソースからビルドして特定のモデルバージョン（例：MiniCPM-V 2.6、4.0、4.6、またはテキスト専用のMiniCPM5-1B）をロードできます。

対象ユーザー

• モバイル開発者：モバイルアプリにローカルLLMおよびマルチモーダルモデルを統合したい人。
• AI研究者：エッジデバイス上でマルチモーダルモデルのパフォーマンスをテストしたい人。
• エンドユーザー：スマートフォン上でプライベートでオフラインでマルチモーダルAIを実行したい人。

特徴

• クロスプラットフォーム対応：iOS、Android、HarmonyOS用のネイティブデモ。
• マルチモーダル機能：ビジョン・ランゲージモデル（MiniCPM-V）とテキスト音声変換（VoxCPM2）をサポート。
• デバイス内実行：llama.cppを介して完全にローカルで実行され、プライバシーとオフライン利用を保証。
• ハードウェア別ガイドライン：異なるモデル量子化に対応した詳細なRAM要件を提供し、さまざまなデバイスでのスムーズなパフォーマンスを確保。