OpenBMB/MiniCPM

해결하는 문제

MiniCPM5-1B는 리소스가 제한된 시나리오에서 온디바이스 및 로컬 배포를 위해 설계된 컴팩트한 1B 파라미터 밀집 Transformer 모델입니다. 이 모델은 해당 크기 클래스에서, 특히 작은 메모리 점유율이 요구되는 추론, 코딩 및 도구 사용 워크플로우에서 최첨단(SOTA) 성능을 제공하는 것을 목표로 합니다.

작동 원리

표준 LlamaForCausalLM 아키텍처를 기반으로 구축된 이 모델은 베이스 트레이닝, 미드 트레이닝, 포스트 트레이닝의 3단계 프로세스를 사용하여 학습됩니다. 포스트 트레이닝 단계에서는 딥싱킹(deep-thinking) 및 하이브리드 싱킹(hybrid-thinking) 데이터와 결합된 지도 미세 조정(SFT), 추론 및 신뢰성을 향상시키기 위한 강화 학습(RL), 그리고 전문적인 RL 교사로부터 단일 릴리스 모델로 지식을 증류하기 위한 온폴리시 증류(OPD)를 결합하여 활용합니다.

내장된 <think> 채팅 템플릿과 enable_thinking 토글을 통해 단일 체크포인트가 빠른 어시스턴트 또는 신중한 추론기 역할을 할 수 있는 하이브리드 추론 시스템을 특징으로 합니다.

대상 사용자

• 로컬 AI 개발자: 온디바이스 어시스턴트, 코딩 에이전트 또는 도구 사용 워크플로우를 구축하는 개발자.
• 엣지 컴퓨팅 사용자: 고성능 LLM이 필요한 하드웨어 리소스가 제한된 사용자.
• ML 엔지니어: 커스텀 커널 없이 vLLM, SGLang, Transformers와 같은 주요 추론 엔진과 쉽게 통합되는 모델을 찾는 개발자.

주요 특징

• 1B 클래스 SOTA: 추론, 코드 및 에이전트 도구 사용 측면에서 유사한 크기의 다른 오픈 소스 모델보다 뛰어난 성능을 발휘합니다.
• 하이브리드 추론: 동일한 모델 체크포인트 내에서 "Think" 및 "No Think" 모드를 모두 지원합니다.
• 표준 아키텍처: LlamaForCausalLM을 사용하여 대부분의 주요 추론 백엔드(vLLM, SGLang, llama.cpp 등)와의 호환성을 보장합니다.
• 에이전트 준비 완료 배포: Cursor 및 Claude Code를 위한 특화된 "Agent Skills"를 제공하여 배포 및 미세 조정 워크플로우를 자동화합니다。
• 네이티브 도구 호출: XML 스타일의 도구 호출을 생성하며, SGLang에서 OpenAI 호환 변환을 위한 네이티브 지원을 제공합니다.