jingyaogong/minimind

MiniMind: 처음부터 훈련된 초소형 LLM

MiniMind는 아주 작지만 기능적인 거대 언어 모델(LLM)을 완전히 제로 베이스에서 구축하는 방법을 보여주는 실습 중심의 오픈 소스 프로젝트입니다. 핵심 주장은 약 6400만 파라미터 모델을 약 3위안(1달러 미만)의 컴퓨팅 비용과 단 2시간의 훈련 시간만으로 훈련할 수 있다는 것입니다.

단순히 LoRA를 사용하여 기존의 거대한 모델을 미세 조정하는 대신, MiniMind는 데이터 수집 및 정제, 토크나이저 훈련, 베이스 모델 사전 학습, 지도 미세 조정(SFT), 그리고 DPO, PPO, GRPO, CISPO와 같은 현대적인 강화 학습 기술을 통한 정렬까지 모든 과정을 직접 수행할 수 있는 완전한 코드 파이프라인을 제공합니다. 심지어 Mixture-of-Experts (MoE), 비전 및 확산 기반 언어 모델을 위한 실험적인 변체도 포함되어 있습니다.

이 프로젝트는 교육 및 실험을 위해 설계되었습니다. 훈련, 평가 및 서빙을 위한 스크립트가 포함되어 있으며, OpenAI 호환 API 서버를 제공하므로 훈련된 모델을 FastGPT 또는 Open-WebUI와 같은 표준 채팅 UI에 연결하거나 Ollama 또는 vLLM을 통해 배포할 수 있습니다.