OpenBMB/MiniCPM-V-Apps

解决的问题

该项目提供了一组移动应用演示，使 MiniCPM-V 系列多模态模型能够完全在设备上运行，无需依赖云端推理。支持多种移动操作系统，包括 iOS、Android 和 HarmonyOS NEXT。

工作原理

应用程序利用 llama.cpp-omni（作为 git 子模块集成）在移动硬件上本地执行 GGUF 格式的模型权重。项目为每个平台提供了独立的构建管道：iOS 使用 Xcode 项目，Android 使用 Gradle/Kotlin 项目，HarmonyOS 使用 DevEco Studio 项目。用户可选择下载预构建包，或从源码构建并加载特定模型版本（如 MiniCPM-V 2.6、4.0、4.6 或纯文本模型 MiniCPM5-1B）。

适用人群

• 移动开发者：希望将本地 LLM 和多模态模型集成到移动应用中的开发者。
• AI 研究人员：希望在边缘设备上测试多模态模型性能的研究者。
• 终端用户：希望在智能手机上运行私密、离线多模态 AI 的用户。

亮点

• 跨平台支持：提供 iOS、Android 和 HarmonyOS 的原生演示。
• 多模态能力：支持视觉-语言模型（MiniCPM-V）和文本转语音（VoxCPM2）。
• 设备内执行：通过 llama.cpp 完全本地运行，确保隐私和离线可用性。
• 硬件特定指导：提供不同模型量化版本的详细内存（RAM）需求，确保在各种设备上流畅运行。