OpenBMB/MiniCPM-V-Apps

MiniCPM‑V‑Apps – 端侧多模态 LLM 演示

简介 – 包括三款示例应用（iOS、Android、HarmonyOS），可在手机或平板电脑上完全本地运行 MiniCPM‑V 系列多模态大语言模型。这些应用是 llama.cpp‑omni 推理引擎的轻量封装，该引擎已编译为平台特定二进制文件（iOS 的 XCFramework，Android/HarmonyOS 的原生库）。用户可以在无需网络连接的情况下进行纯文本、视觉增强或文本转语音任务的交互。

主要组件

• MiniCPM‑V 模型 – 8B 至 35B 参数的多模态 LLM（35B 版本使用混合专家架构，从 SSD 流式加载专家分片，使其能在手机上运行）。
• llama.cpp‑omni 子模块 – 流行 llama.cpp 库的一个分支，增加了对 GGUF 格式权重、视觉投影器和 MoE‑SSD 流式逻辑的支持。
• 平台演示 –
  • MiniCPM‑V‑demo/（Xcode 项目，构建 llama.xcframework）。
  • MiniCPM‑V‑demo‑Android/（Gradle/Kotlin 项目）。
  • MiniCPM‑V‑demo‑HarmonyOS/（DevEco Studio/ArkTS 项目）。
• 模型管理器 UI – 允许应用下载所需的 GGUF 文件，验证校验和，并在设备上组织它们。

如何运行

1. 浅克隆包含子模块的仓库（约几十 MB），以避免获取完整的 llama.cpp‑omni 历史记录。
2. 构建推理库 – 在 iOS 上运行 scripts/build_xcframework.sh（默认构建设备和模拟器切片）。Android/HarmonyOS 通过 Gradle/NDK 获取预编译的原生库。
3. 在适当的 IDE（Xcode、Android Studio、DevEco Studio）中打开演示项目，并在物理设备上运行。
4. 下载模型权重 – 可以通过应用内模型管理器或从 README 中列出的 HuggingFace/ModelScope 链接手动下载。README 详细说明了每个模型版本的精确 GGUF 文件以及所需的 RAM/存储空间。

支持的模型与硬件提示

模型	参数	量化	大致大小（模型+视觉）	推荐 RAM
MiniCPM‑V 2.6	8B	Q4_K_M	~5.4GB	≥8GB
MiniCPM‑V 4.0	4.1B	Q4_K_M	~2.9GB	≥6GB
MiniCPM‑V 4.6	1.3B	Q4_K_M	~1.6GB	≥6GB
MiniCPM‑V 4.7 1B	1B	Q4_K_M	~1.8GB	≥4GB
MiniCPM‑V 4.7 35B‑A3B (MoE)	35B（3B 激活）	Q3_K（专家分片）	~16.6GB	≥12GB，快速内部存储
MiniCPM5‑1B / MiniCPM5‑2B（纯文本）	1B / 2B	Q4_K_M	0.5GB / 1.5GB	≥4GB / ≥6GB
VoxCPM2 (TTS)	~2B	Q4_K_M + F16	~2.8GB	≥6GB

重要性

• 展示了现代多模态 LLM，即使是 35B 级 MoE，只要将模型分割成流式专家分片，就可以在消费级智能手机上运行。
• 为希望在自有 iOS/Android/HarmonyOS 应用中嵌入端侧 AI（视觉语言或 TTS）的开发者提供了一个可直接修改的代码库。
• 使用开源 GGUF 格式和 llama.cpp，保持整个技术栈完全透明且可扩展。

更多信息

• README 中链接了预构建的应用二进制文件（TestFlight、APK、HAP）。
• 每个 GGUF 模型的详细下载链接位于“Part 2 – GGUF Model Files”部分。
• DOWNLOAD.md 文件包含发布包的签名说明和 MD5 校验和。

---

以上所有信息均直接取自仓库的 README，未推断任何额外功能。