OpenBMB/MiniCPM-V

MiniCPM‑V 4.7 和 MiniCPM‑o 4.5 – 设备端多模态 LLM

它是什么 – 由清华大学自然语言处理小组（THUNLP）和 ModelBest 发布的开源多模态大型语言模型（LLM）系列。

• MiniCPM‑V 4.7：视觉‑语言模型（图像、多图像、视频、文档），有两种尺寸 – 350 亿参数的混合专家（MoE）变体（35B‑A3B）和轻量级 10 亿参数版本。
• MiniCPM‑o 4.5：一个 90 亿参数的“全模态”模型，可以连续输入视频 + 音频，同时实时生成文本和语音。

---

为什么重要

• 首个能在手机上流畅运行的开源 MoE – 得益于 Lookahead Expert Scheduling（LES）技术，35B‑A3B 模型在 iPhone 17 Pro Max 上仅使用约 3 GB 内存即可实现 >13 tokens / s 的解码速度。
• 性能‑效率前沿 – 35B‑A3B 和 1B 变体在整体基准测试分数上均优于同类商业模型（Qwen 3.6 35B‑A3B、Qwen 3.5 0.8B），同时推理时间更短。
• 全双工全模态交互 – MiniCPM‑o 4.5 可以同时观看视频、聆听音频和说话，实现实时、主动的助手（例如，由摄像头看到的内容触发的提醒）。
• 跨平台部署 – 支持 iOS、Android、HarmonyOS 以及多种 CPU/NPU（Intel、AMD、Arm、Rockchip、Houmo）。
• Self‑Replay Fine‑Tuning（SRFT） – 一种低成本微调方法，在添加新能力的同时最大限度地减少对现有技能的遗忘。

---

核心能力

模型	视觉	语音	语言	交互模式
MiniCPM‑V 4.7（35B‑A3B / 1B）	图像、多图像、视频、文档理解（混合 4×/16× 视觉 token 压缩）	–	文本生成、指令跟随、推理	指令与推理模式（离线推理）
MiniCPM‑o 4.5（9B）	实时视觉理解（接近 Gemini 2.5 Flash）	双语语音转文本与文本转语音、语音克隆	文本生成	全双工实时流式视频 + 音频输入，同时输出文本 + 语音

---

快速开始（快速链接）

• 模型权重 – Hugging Face 仓库：MiniCPM‑V‑4.7‑35B‑A3B、MiniCPM‑V‑4.7‑1B、MiniCPM‑o‑4.5。
• 推理 – 使用提供的 Transformers 兼容脚本（docs/...#inference-with-transformers）或 llama.cpp‑omni 运行时进行设备端 MoE 推理。
• 微调 – SRFT 和 LLaMA‑Factory/Swift 训练指南位于 docs/deployment_en.md。
• 实时演示 – MiniCPM‑V 4.7 的 Hugging Face Space 和 MiniCPM‑o 4.5 的网页演示。
• API – docs/api.md 中描述的 REST 风格 API（适用于两个模型）。
• 食谱 – 社区部署、提示工程和工具集成食谱：https://github.com/OpenSQZ/MiniCPM-V-CookBook。

---

谁可能使用它

• 移动 AI 开发者，需要适合设备端运行的强大视觉‑语言模型（隐私优先应用、AR、离线 OCR、文档分析）。
• 实时助手，必须同时看、听和说 – 例如智能家居中枢、机器人伴侣、直播审核工具。
• 研究人员，探索高效 MoE 推理、多模态 token 压缩或全双工交互流水线。
• 教育者和爱好者，寻找可以在本地运行而无需云成本的最新多模态 LLM。

---

社区与生态系统

• Discord、微信、飞书群组，用于支持和协作。
• 基于 MiniCPM 的第三方项目（数字人聊天、OCR 流水线、ComfyUI 集成）。
• 论文参考 – 描述模型和 LES 技术的 arXiv 预印本（见引用块）。

---

许可与使用

• 代码和模型权重根据 Apache‑2.0 许可发布。
• 商业使用受单独的模型特定许可管辖（见 docs/project_en.md#model-license）。

---

TL;DR

MiniCPM‑V 4.7 将 350 亿参数的 MoE 视觉‑语言模型带到手机上，具有实时速度，而 MiniCPM‑o 4.5 提供了首个开源 90 亿全模态模型，可以同时观看、聆听和说话。两者都是完全开源、跨平台的，并附带文档、演示和微调食谱。