OpenBMB/MiniCPM

해결하는 문제

MiniCPM은 온디바이스 로컬 배포 및 리소스가 제한된 환경을 위해 설계된 경량 고성능 언어 모델 시리즈입니다. 1B에서 2B 파라미터 클래스에서 최첨단(SOTA) 성능을 제공하여, 거대한 클라우드 인프라 없이도 엣지 디바이스에서 코딩, 수학, 에이전트 작업과 같은 강력한 AI 기능을 구현하는 것을 목표로 합니다.

작동 원리

이 프로젝트는 밀집(dense) Transformer 아키텍처(구체적으로 LlamaForCausalLM)와 UltraData Tiered Data Management라는 정교한 학습 파이프라인을 활용합니다. 이 과정은 세 단계로 구성됩니다.

1. 기본 학습 (Base Training): 핵심 언어 안정성과 능력을 확립합니다.
2. 중간 학습 (Mid-training): 특정 목표 능력을 강화하고 모델을 대상 데이터 분포에 적응시킵니다.
3. 사후 학습 (Post-training): 심층 사고(deep-thinking) 데이터를 사용한 지도 미세 조정(SFT), 비평가 기반 알고리즘을 사용한 강화 학습(RL), 그리고 온-폴리시 증류(OPD)를 사용하여 여러 전문가 RL 모델의 능력을 단일 릴리스 모델로 통합합니다.

대상 사용자

로컬 어시스턴트, 코딩 에이전트, 도구 사용 워크플로우를 구축하는 개발자, 그리고 컴퓨팅 리소스가 제한된 환경에서 높은 추론 능력이 필요한 사용자를 위한 것입니다.

주요 특징

• 2B 클래스 SOTA: MiniCPM5-2B는 동급의 다른 오픈 소스 모델을 능가하며 4B 클래스 모델과도 경쟁력을 유지합니다.
• 온디바이스 최적화: 로컬 배포 및 리소스가 제한된 시나리오를 위해 특별히 제작되었습니다.
• 긴 컨텍스트 지원: 최대 131,072 토큰의 컨텍스트 길이를 기본적으로 지원합니다.
• 고품질 오픈 데이터: 커뮤니티를 지원하기 위해 관련 학습 데이터셋(UltraX, UltraData-Code 등)을 공개합니다.
• 광범위한 배포 지원: vLLM, SGLang, Llama.cpp 및 Transformers와 호환됩니다.