OpenSQZ/MiniCPM-V-CookBook

解决的问题

本项目为MiniCPM系列模型（MiniCPM-V、MiniCPM-o和MiniCPM LLM）提供了一套全面的实施指南和部署方案。它简化了将多模态AI能力（包括视觉、语音和文本）集成到应用程序中的过程，应用范围从高性能企业服务器到iPhone和Android手机等边缘设备。

工作原理

该手册作为即用型示例和技术说明的集中枢纽。它将这些“方案”分为四大类：

• 推理：针对视觉任务（单/多图像问答、视频问答、OCR、接地）、音频任务（语音转文本、文本转语音、语音克隆）和文本推理的即用型示例。
• 微调：使用Transformers、LLaMA-Factory、SWIFT和Align-anything等框架定制模型的指南。
• 服务：包括vLLM、SGLang、llama.cpp、Ollama和MLX在内的各种后端的部署说明，以及使用FastAPI、Gradio和OpenWebUI的Web演示。
• 量化：使用GGUF、BNB、AWQ、GPTQ和FP8/INT4压缩模型以降低资源消耗的说明。

适用对象

• 个人用户：希望通过Ollama或llama.cpp进行简单本地推理的用户。
• 企业：需要通过vLLM或SGLang进行高吞吐量、可扩展GPU推理的开发人员。
• 研究人员：使用高级框架进行模型开发和实验的AI研究人员。
• 边缘开发者：为iOS、Android和HarmonyOS构建多模态AI应用的开发者。

亮点

• 全模态能力：支持文本、视觉和语音交互。
• 广泛的硬件支持：适用于Apple Silicon、移动设备和高性能GPU的部署路径。
• 端侧部署：针对iPhone和iPad上的设备端AI的特定指南。
• 全面的量化：多种方法以满足各种效率需求。