OpenBMB/MiniCPM-V-Apps

해결하는 문제

이 프로젝트는 MiniCPM-V 계열의 멀티모달 모델을 완전히 디바이스 내에서 실행할 수 있는 모바일 애플리케이션 데모를 제공하여 클라우드 기반 추론의 필요성을 제거합니다. iOS, Android, HarmonyOS NEXT를 포함한 여러 모바일 운영체제를 지원합니다.

작동 방식

애플리케이션은 llama.cpp-omni (git 서브모듈로 통합됨)를 사용하여 GGUF 형식의 모델 가중치를 모바일 하드웨어에서 로컬로 실행합니다. 각 플랫폼별 별도의 빌드 파이프라인을 제공합니다: iOS용 Xcode 프로젝트, Android용 Gradle/Kotlin 프로젝트, HarmonyOS용 DevEco Studio 프로젝트입니다. 사용자는 사전 빌드된 패키지를 다운로드하거나 소스에서 빌드하여 특정 모델 버전(예: MiniCPM-V 2.6, 4.0, 4.6 또는 텍스트 전용 MiniCPM5-1B)을 로드할 수 있습니다.

대상 사용자

• 모바일 개발자: 모바일 앱에 로컬 LLM 및 멀티모달 모델을 통합하고 싶은 사람.
• AI 연구자: 엣지 디바이스에서 멀티모달 모델의 성능을 테스트하고 싶은 사용자.
• 최종 사용자: 스마트폰에서 개인적이고 오프라인으로 멀티모달 AI를 실행하고 싶은 사람.

주요 특징

• 크로스 플랫폼 지원: iOS, Android, HarmonyOS용 네이티브 데모.
• 멀티모달 기능: 비전-언어 모델(MiniCPM-V)과 텍스트-음성 변환(VoxCPM2)을 지원.
• 디바이스 내 실행: llama.cpp를 통해 완전히 로컬에서 실행되어 프라이버시와 오프라인 사용 가능성을 보장.
• 하드웨어별 안내: 다양한 모델 양자화에 맞는 RAM 요구 사항을 상세히 제공하여 다양한 기기에서 원활한 성능을 보장.