OpenSQZ/MiniCPM-V-CookBook

何を解決するか

このプロジェクトは、MiniCPMシリーズ（MiniCPM-V、MiniCPM-o、MiniCPM LLM）向けの包括的な実装ガイドとデプロイレシピを提供します。視覚、音声、テキストを含むマルチモーダルAI機能を、ローカルのエッジデバイス（iPhoneなど）から高スループットのエンタープライズGPUクラスタまで、さまざまなアプリケーションに簡素化して統合できるようにします。

仕組み

このレシピブックは、モデルライフサイクル全体をカバーする「レシピ」（チュートリアルと設定ガイド）の中央ハブとして機能します。

• 推論: 単一/複数画像QA、動画理解、PDF解析、OCR、音声認識/音声合成などのタスク用の即時実行可能な例。
• デプロイ: vLLM、SGLang、llama.cpp、Ollama、Apple Silicon用のMLXなど、さまざまなフレームワークの手順。
• ファインチューニング: Transformers、LLaMA-Factory、SWIFT、Align-anythingを使用したカスタムモデルのカスタマイズガイド。
• 量子化: GGUF、BNB、AWQ、GPTQを使用したモデル圧縮手法により、リソース消費を削減。

対象ユーザー

• 個人ユーザー: Ollamaやllama.cppを介して、最小限の設定でローカルでマルチモーダルモデルを実行したい人。
• 企業: vLLMやSGLangを使用してスケーラブルで高スループットのパフォーマンスを必要とする開発者。
• 研究者: 先進的なトレーニングフレームワークを使用してモデルアーキテクチャのファインチューニングや実験を行いたいAI実践者。

特徴

• オムニモーダル対応: テキスト、視覚、音声/音声機能をカバー。
• エッジ対応: iOS、Android、HarmonyOS NEXT向けの特定ガイド。
• 多様な量子化対応: GGUF、AWQなど複数形式をサポートし、効率的なローカル実行を実現。
• 広範なフレームワーク互換性: FastAPI、Gradio、Open WebUIなどの人気ツールと統合し、インタラクティブなデモを可能に。