OpenSQZ/MiniCPM-V-CookBook

해결하는 문제

이 프로젝트는 MiniCPM 모델 시리즈(MiniCPM-V, MiniCPM-o, MiniCPM LLM)에 대한 포괄적인 구현 가이드와 배포 레시피를 제공합니다. 비전, 음성, 텍스트를 포함한 멀티모달 AI 기능을 고성능 엔터프라이즈 서버부터 iPhone 및 Android 휴대폰과 같은 엣지 디바이스까지 애플리케이션에 통합하는 과정을 간소화합니다.

작동 방식

쿡북은 바로 실행 가능한 예제와 기술 지침을 위한 중앙 허브 역할을 합니다. 이러한 "레시피"를 네 가지 주요 범주로 구성합니다:

• 추론: 비전 작업(단일/다중 이미지 QA, 비디오 QA, OCR, 그라운딩), 오디오 작업(음성-텍스트, 텍스트-음성, 음성 복제) 및 텍스트 추론을 위한 즉시 실행 가능한 예제.
• 파인튜닝: Transformers, LLaMA-Factory, SWIFT, Align-anything과 같은 프레임워크를 사용하여 모델을 사용자 지정하는 가이드.
• 서빙: vLLM, SGLang, llama.cpp, Ollama, MLX를 포함한 다양한 백엔드 및 FastAPI, Gradio, OpenWebUI를 사용한 웹 데모를 위한 배포 지침.
• 양자화: 리소스 소비를 줄이기 위해 GGUF, BNB, AWQ, GPTQ, FP8/INT4를 사용하여 모델을 압축하는 지침.

대상 사용자

• 개인: Ollama 또는 llama.cpp를 통해 간편한 로컬 추론을 원하는 사용자.
• 엔터프라이즈: vLLM 또는 SGLang을 통해 높은 처리량과 확장 가능한 GPU 추론이 필요한 개발자.
• 연구자: 고급 프레임워크를 사용하여 모델 개발 및 실험을 수행하는 AI 연구자.
• 엣지 개발자: iOS, Android, HarmonyOS용 멀티모달 AI 앱을 구축하는 개발자.

주요 특징

• 옴니모달 기능: 텍스트, 비전, 음성 상호작용 지원.
• 광범위한 하드웨어 지원: Apple Silicon, 모바일 디바이스, 고성능 GPU를 위한 배포 경로.
• 엔드게임 배포: iPhone 및 iPad에서 온디바이스 AI를 위한 특정 가이드.
• 포괄적인 양자화: 다양한 효율성 요구를 지원하는 여러 방법.