OpenSQZ/MiniCPM-V-CookBook

해결하는 문제

이 프로젝트는 MiniCPM 시리즈 모델(MiniCPM-V, MiniCPM-o, MiniCPM LLM)을 위한 포괄적인 구현 가이드와 배포 레시피를 제공합니다. 단일/다중 이미지 질의응답, 영상 이해, PDF 파싱, OCR, 음성-텍스트/텍스트-음성 변환과 같은 시각, 음성, 텍스트를 포함한 멀티모달 AI 기능을 iPhone과 같은 로컬 에지 디바이스부터 고처리량 엔터프라이즈 GPU 클러스터에 이르기까지 다양한 애플리케이션에 간편하게 통합할 수 있도록 합니다.

작동 방식

이 레시피북은 모델 라이프사이클 전반을 커버하는 '레시피'(튜토리얼 및 설정 가이드)의 중앙 허브 역할을 합니다.

• 추론: 단일/다중 이미지 QA, 영상 이해, PDF 파싱, OCR, 음성-텍스트/텍스트-음성 변환 등에 대한 즉시 실행 가능한 예제.
• 배포: vLLM, SGLang, llama.cpp, Ollama, Apple Silicon용 MLX 등 다양한 프레임워크에 대한 지침.
• 피니튜닝: Transformers, LLaMA-Factory, SWIFT, Align-anything을 사용한 모델 맞춤화 가이드.
• 양자화: GGUF, BNB, AWQ, GPTQ를 사용한 모델 압축 방법으로 자원 소비를 줄입니다.

대상 사용자

• 개인 사용자: Ollama 또는 llama.cpp를 통해 최소한의 설정으로 로컬에서 멀티모달 모델을 실행하고 싶은 사용자.
• 기업: vLLM 또는 SGLang을 사용해 확장성 있고 고처리량 성능이 필요한 개발자.
• 연구자: 고급 트레이닝 프레임워크를 사용해 모델 아키텍처를 피니튜닝하고 실험하고 싶은 AI 전문가.

주요 특징

• 오미모달 지원: 텍스트, 시각, 오디오/음성 기능을 모두 커버.
• 에지 대응: iOS, Android, HarmonyOS NEXT에 특화된 배포 가이드.
• 다양한 양자화 형식: GGUF, AWQ 등 다양한 형식을 지원해 효율적인 로컬 실행 가능.
• 광범위한 프레임워크 호환성: FastAPI, Gradio, Open WebUI와 같은 인기 도구와 통합되어 인터랙티브 데모를 가능하게 합니다.