OpenBMB/MiniCPM-V-Apps

MiniCPM‑V‑Apps – 온디바이스 멀티모달 LLM 데모

개요 – iOS, Android, HarmonyOS용 세 가지 샘플 애플리케이션 세트로, MiniCPM‑V 계열의 멀티모달 대규모 언어 모델을 완전히 로컬로 스마트폰이나 태블릿에서 실행합니다. 앱은 llama.cpp‑omni 추론 엔진의 얇은 래퍼로, 플랫폼별 바이너리(iOS용 XCFramework, Android/HarmonyOS용 네이티브 라이브러리)로 컴파일되었습니다. 사용자는 네트워크 연결 없이 텍스트 전용, 비전 증강, 또는 텍스트‑음성 변환 작업을 위해 모델과 상호 작용할 수 있습니다.

주요 구성 요소

• MiniCPM‑V 모델 – 8B 파라미터에서 35B 파라미터까지의 멀티모달 LLM(35B 버전은 SSD에서 전문가 샤드를 스트리밍하는 MoE를 사용하여 스마트폰에서 실행 가능).
• llama.cpp‑omni 하위 모듈 – 인기 있는 llama.cpp 라이브러리의 포크로, GGUF 형식 가중치, 비전 프로젝터, MoE‑SSD 스트리밍 로직에 대한 지원을 추가합니다.
• 플랫폼 데모 –
  • MiniCPM‑V‑demo/ (Xcode 프로젝트, llama.xcframework 빌드).
  • MiniCPM‑V‑demo‑Android/ (Gradle/Kotlin 프로젝트).
  • MiniCPM‑V‑demo‑HarmonyOS/ (DevEco Studio/ArkTS 프로젝트).
• 모델 관리자 UI – 앱이 필요한 GGUF 파일을 다운로드하고, 체크섬을 확인하고, 기기에서 구성할 수 있습니다.

실행 방법

1. 하위 모듈을 포함한 리포지토리를 얕게 클론합니다(약 수십 MB). 전체 llama.cpp‑omni 기록을 가져오지 않도록 합니다.
2. 추론 라이브러리 빌드 – iOS에서는 scripts/build_xcframework.sh를 실행합니다(기본적으로 디바이스+시뮬레이터 슬라이스 빌드). Android/HarmonyOS는 Gradle/NDK를 통해 사전 컴파일된 네이티브 라이브러리를 가져옵니다.
3. 적절한 IDE(Xcode, Android Studio, DevEco Studio)에서 데모 프로젝트를 열고 실제 기기에서 실행합니다.
4. 모델 가중치 다운로드 – 앱 내 모델 관리자를 사용하거나 README에 나열된 HuggingFace/ModelScope 링크에서 수동으로 다운로드합니다. README에는 각 모델 버전에 대한 정확한 GGUF 파일과 필요한 RAM/저장 공간이 자세히 설명되어 있습니다.

지원되는 모델 및 하드웨어 힌트

모델	파라미터	양자화	대략적인 크기(모델+비전)	권장 RAM
MiniCPM‑V 2.6	8B	Q4_K_M	~5.4GB	≥8GB
MiniCPM‑V 4.0	4.1B	Q4_K_M	~2.9GB	≥6GB
MiniCPM‑V 4.6	1.3B	Q4_K_M	~1.6GB	≥6GB
MiniCPM‑V 4.7 1B	1B	Q4_K_M	~1.8GB	≥4GB
MiniCPM‑V 4.7 35B‑A3B (MoE)	35B (3B 활성)	Q3_K(전문가 샤드)	~16.6GB	≥12GB, 빠른 내부 저장소
MiniCPM5‑1B / MiniCPM5‑2B (텍스트 전용)	1B / 2B	Q4_K_M	0.5GB / 1.5GB	≥4GB / ≥6GB
VoxCPM2 (TTS)	~2B	Q4_K_M + F16	~2.8GB	≥6GB

중요한 이유

• 최신 멀티모달 LLM, 심지어 35B급 MoE도 모델을 스트리밍 전문가 샤드로 분할하면 소비자용 스마트폰에서 실행할 수 있음을 보여줍니다.
• 자체 iOS/Android/HarmonyOS 앱에 온디바이스 AI(비전‑언어 또는 TTS)를 임베드하려는 개발자에게 바로 수정 가능한 코드 베이스를 제공합니다.
• 오픈 소스 GGUF 형식과 llama.cpp를 사용하여 스택을 완전히 투명하고 확장 가능하게 유지합니다.

더 많은 정보

• 사전 빌드된 앱 바이너리는 README에 링크되어 있습니다(TestFlight, APK, HAP).
• 각 GGUF 모델에 대한 자세한 다운로드 링크는 "Part 2 – GGUF Model Files" 섹션에 있습니다.
• DOWNLOAD.md 파일에는 릴리스 패키지에 대한 서명 메모와 MD5 체크섬이 포함되어 있습니다.

---

위의 모든 정보는 리포지토리의 README에서 직접 가져온 것이며 추가 기능은 추론되지 않습니다.