OpenBMB/MiniCPM-V

MiniCPM‑V 4.7 및 MiniCPM‑o 4.5 – 기기 내 멀티모달 LLM

개요 – 칭화대학교 NLP 그룹(THUNLP)과 ModelBest가 출시한 오픈소스 멀티모달 대규모 언어 모델(LLM) 제품군입니다.

MiniCPM‑V 4.7: 비전‑언어 모델(이미지, 다중 이미지, 비디오, 문서)로, 두 가지 크기 – 350억 파라미터의 Mixture‑of‑Experts(MoE) 변형(35B‑A3B)과 경량 10억 파라미터 버전이 있습니다.
MiniCPM‑o 4.5: 90억 파라미터의 "옴니모달" 모델로, 비디오 + 오디오를 연속적으로 입력하면서 텍스트와 음성을 실시간으로 생성할 수 있습니다.

중요한 이유

휴대폰에서 원활하게 실행되는 최초의 오픈소스 MoE – Lookahead Expert Scheduling(LES) 기술 덕분에 35B‑A3B 모델은 iPhone 17 Pro Max에서 약 3 GB의 RAM만 사용하여 >13 tokens / s의 디코딩 속도를 달성합니다.
성능‑효율 최전선 – 35B‑A3B 및 1B 변형 모두 동급 상용 모델(Qwen 3.6 35B‑A3B, Qwen 3.5 0.8B)을 전체 벤치마크 점수에서 능가하면서 추론 시간은 더 짧습니다.
전이중 옴니모달 상호작용 – MiniCPM‑o 4.5는 비디오를 보면서 오디오를 듣고 동시에 말할 수 있어, 실시간 능동형 어시스턴트(예: 카메라가 보는 것에 의해 트리거되는 알림)를 가능하게 합니다.
크로스 플랫폼 배포 – iOS, Android, HarmonyOS 및 다양한 CPU/NPU(Intel, AMD, Arm, Rockchip, Houmo)를 지원합니다.
Self‑Replay Fine‑Tuning(SRFT) – 기존 기술의 망각을 최소화하면서 새로운 능력을 추가하는 저비용 파인튜닝 방법입니다.

핵심 기능

모델	비전	음성	언어	상호작용 모드
MiniCPM‑V 4.7(35B‑A3B / 1B)	이미지, 다중 이미지, 비디오, 문서 이해(혼합 4×/16× 시각 토큰 압축)	–	텍스트 생성, 지시 따르기, 추론	지시 및 추론 모드(오프라인 추론)
MiniCPM‑o 4.5(9B)	실시간 시각 이해(Gemini 2.5 Flash에 근접)	이중 언어 음성‑텍스트 및 텍스트‑음성, 음성 복제	텍스트 생성	비디오 + 오디오 입력의 전이중 라이브 스트리밍, 텍스트 + 음성 출력

시작하기(빠른 링크)

모델 가중치 – Hugging Face 저장소: MiniCPM‑V‑4.7‑35B‑A3B, MiniCPM‑V‑4.7‑1B, MiniCPM‑o‑4.5.
추론 – 제공된 Transformers 호환 스크립트(docs/...#inference-with-transformers) 또는 llama.cpp‑omni 런타임을 사용하여 기기 내 MoE 추론을 수행합니다.
파인튜닝 – SRFT 및 LLaMA‑Factory/Swift 훈련 가이드는 docs/deployment_en.md에 있습니다.
라이브 데모 – MiniCPM‑V 4.7용 Hugging Face Space 및 MiniCPM‑o 4.5용 웹 데모.
API – docs/api.md에 설명된 REST 스타일 API(두 모델 모두 사용 가능).
쿡북 – 배포, 프롬프트 엔지니어링 및 도구 통합을 위한 커뮤니티 레시피: https://github.com/OpenSQZ/MiniCPM-V-CookBook.

누가 사용할까요

모바일 AI 개발자 – 기기 내에서 실행되는 강력한 비전‑언어 모델이 필요한 분(프라이버시 우선 앱, AR, 오프라인 OCR, 문서 분석).
실시간 어시스턴트 – 동시에 보고, 듣고, 말해야 하는 것 – 예: 스마트 홈 허브, 로봇 컴패니언, 라이브 스트림 모더레이션 도구.
연구자 – 효율적인 MoE 추론, 멀티모달 토큰 압축 또는 전이중 상호작용 파이프라인을 탐구하는 분.
교육자 및 취미 사용자 – 클라우드 비용 없이 로컬에서 실행할 수 있는 최첨단 멀티모달 LLM을 찾는 분.

커뮤니티 및 생태계

Discord, WeChat, Feishu 그룹 – 지원 및 협업.
MiniCPM 기반 서드파티 프로젝트(디지털 휴먼 채팅, OCR 파이프라인, ComfyUI 통합).
논문 참조 – 모델 및 LES 기술을 설명하는 arXiv 프리프린트(인용 블록 참조).

라이선스 및 사용

코드와 모델 가중치는 Apache‑2.0 라이선스로 출시됩니다.
상업적 사용은 별도의 모델별 라이선스가 적용됩니다(docs/project_en.md#model-license 참조).

TL;DR

MiniCPM‑V 4.7은 350억 파라미터 MoE 비전‑언어 모델을 실시간 속도로 휴대폰에 제공하며, MiniCPM‑o 4.5는 동시에 보고, 듣고, 말할 수 있는 최초의 오픈소스 90억 옴니모달 모델을 제공합니다. 둘 다 완전히 오픈소스이고 크로스 플랫폼이며 문서, 데모 및 파인튜닝 레시피가 포함되어 있습니다.