OpenSQZ/MiniCPM-V-CookBook

解决的问题

本项目为 MiniCPM 系列模型（MiniCPM-V、MiniCPM-o 和 MiniCPM LLM）提供了一套全面的实现指南和部署配方。它简化了将多模态 AI 能力（包括视觉、语音和文本）集成到应用程序中的过程，涵盖从本地边缘设备（如 iPhone）到高吞吐量企业 GPU 集群的各类场景。

如何工作

该手册作为「配方」（教程和配置指南）的中央枢纽，覆盖模型生命周期的全部环节：

• 推理：支持单/多图像问答、视频理解、PDF 解析、OCR、语音转文本/文本转语音等任务的即开即用示例。
• 部署：涵盖 vLLM、SGLang、llama.cpp、Ollama 以及 Apple Silicon 专用的 MLX 等多种框架的部署说明。
• 微调：提供使用 Transformers、LLaMA-Factory、SWIFT 和 Align-anything 进行模型定制的指南。
• 量化：支持使用 GGUF、BNB、AWQ 和 GPTQ 等方法压缩模型，以降低资源消耗。

适用人群

• 个人用户：希望使用 Ollama 或 llama.cpp 以最少配置在本地运行多模态模型的用户。
• 企业开发者：需要使用 vLLM 或 SGLang 实现可扩展、高吞吐性能的开发人员。
• 研究人员：希望使用先进训练框架对模型架构进行微调和实验的 AI 实践者。

核心亮点

• 全模态支持：涵盖文本、视觉和音频/语音功能。
• 边缘就绪：提供针对 iOS、Android 和 HarmonyOS NEXT 的专用部署指南。
• 灵活量化：支持 GGUF、AWQ 等多种格式，实现高效的本地执行。
• 广泛框架兼容：与 FastAPI、Gradio 和 Open WebUI 等流行工具集成，支持交互式演示。