OpenSQZ/MiniCPM-V-CookBook

解決する課題

このプロジェクトは、MiniCPMシリーズのモデル（MiniCPM-V、MiniCPM-o、MiniCPM LLM）向けの包括的な実装ガイドとデプロイメントレシピを提供します。視覚、音声、テキストを含むマルチモーダルAI機能を、高性能なエンタープライズサーバーからiPhoneやAndroidスマートフォンなどのエッジデバイスまで、アプリケーションに統合するプロセスを簡素化します。

仕組み

このクックブックは、すぐに実行できる例と技術的な手順のための中央ハブとして機能します。これらの「レシピ」を4つの主要なカテゴリに整理しています。

• 推論: 視覚タスク（単一/複数画像QA、ビデオQA、OCR、グラウンディング）、音声タスク（音声からテキスト、テキストから音声、音声クローン）、およびテキスト推論のためのすぐに実行できる例。
• ファインチューニング: Transformers、LLaMA-Factory、SWIFT、Align-anythingなどのフレームワークを使用したモデルカスタマイズのガイド。
• サービング: vLLM、SGLang、llama.cpp、Ollama、MLXなどのさまざまなバックエンドのデプロイメント手順、およびFastAPI、Gradio、OpenWebUIを使用したWebデモ。
• 量子化: GGUF、BNB、AWQ、GPTQ、FP8/INT4を使用してモデルを圧縮し、リソース消費を削減する手順。

対象読者

• 個人ユーザー: Ollamaやllama.cppを介した簡単なローカル推論を求めるユーザー。
• エンタープライズ: vLLMやSGLangを介した高スループットでスケーラブルなGPU推論を必要とする開発者。
• 研究者: モデル開発と実験のために高度なフレームワークを使用するAI研究者。
• エッジ開発者: iOS、Android、HarmonyOS向けのマルチモーダルAIアプリを構築する開発者。

ハイライト

• オムニモーダル機能: テキスト、視覚、音声のインタラクションをサポート。
• 幅広いハードウェアサポート: Apple Silicon、モバイルデバイス、ハイエンドGPU向けのデプロイメントパス。
• エンドゲームデプロイメント: iPhoneおよびiPad向けのオンデバイスAIの具体的なガイド。
• 包括的な量子化: さまざまな効率ニーズをサポートする複数の方法。