OpenSQZ/MiniCPM-V-CookBook

解決的問題

本專案為 MiniCPM 系列模型（MiniCPM-V、MiniCPM-o 和 MiniCPM LLM）提供一整套完整的實作指南與部署食譜。它簡化了將多模態 AI 功能（包含視覺、語音與文字）整合至應用程式的過程，涵蓋從本地邊緣裝置（如 iPhone）到高吞吐量企業 GPU 集群的各類場景。

如何運作

本手冊作為「食譜」（教學與設定指南）的中央樞紐，涵蓋模型生命週期的全部環節：

• 推論：提供單/多圖像問答、影片理解、PDF 解析、OCR、語音轉文字/文字轉語音等任務的即開即用範例。
• 部署：涵蓋 vLLM、SGLang、llama.cpp、Ollama 以及 Apple Silicon 專用的 MLX 等多種框架的部署說明。
• 微調：提供使用 Transformers、LLaMA-Factory、SWIFT 和 Align-anything 進行模型客製化的指南。
• 量化：支援使用 GGUF、BNB、AWQ 和 GPTQ 等方法壓縮模型，以降低資源消耗。

適用對象

• 個人使用者：希望使用 Ollama 或 llama.cpp 以最少設定在本地運行多模態模型的使用者。
• 企業開發者：需要使用 vLLM 或 SGLang 實現可擴展、高吞吐效能的開發人員。
• 研究人員：希望使用先進訓練框架對模型架構進行微調與實驗的 AI 實務者。

核心亮點

• 全模態支援：涵蓋文字、視覺與音訊/語音功能。
• 邊緣就緒：提供針對 iOS、Android 與 HarmonyOS NEXT 的專用部署指南。
• 彈性量化：支援 GGUF、AWQ 等多種格式，實現高效的本地執行。
• 廣泛框架相容：與 FastAPI、Gradio 和 Open WebUI 等流行工具整合，支援互動式示範。