logitcai/tinybrain
A Chinese-first small language model built from scratch: open 60B-token dataset, tokenizer, mHC + Engram + MoE model, pretraining through RL, all in PyTorch. 从零做中文小模型,数据和代码全部开源
해결하는 문제
사용 가능한 중국어 언어 모델을 학습하려면 일반적으로 토크나이저, 사전 학습 말뭉치, 모델 아키텍처, 지도 미세 조정, 강화 학습, 추론 런타임 등 많은 개별 요소를 조립해야 합니다. tinybrain은 전체 파이프라인을 하나의 코드베이스로 패키징하여 이 문제를 해결합니다. 이를 통해 단일 개발자가 불투명한 블랙박스나 폐쇄형 소스 구성 요소에 의존하지 않고도 단일 소비자용 GPU에서 원시 공개 데이터로 챗봇 모델을 구축할 수 있습니다.
작동 방식
이 프로젝트는 완전히 투명하고 모듈화된 파이프라인을 중심으로 구축되었습니다. 원시 텍스트는 26개의 공개 소스에서 다운로드되어 정제 및 중복 제거를 거치며, 약 3,500만 개의 샘플 토큰으로 학습된 커스텀 토크나이저를 사용하여 4단계(nano, mini, base, full)의 사전 학습 데이터로 혼합됩니다. 모델 아키텍처 자체는 이중 확률 혼합을 사용하는 멀티 스트림 잔차 연결(mHC), Engram 룩업 테이블 메모리, 3:1 슬라이딩 윈도우를 갖춘 GQA 어텐션, 선택적 전문가 혼합(MoE) 피드포워드 레이어와 같은 혁신적인 구성 요소를 사용합니다. 학습은 코사인 어닐링을 통한 사전 학습, 사전 학습 및 대화 데이터 혼합을 통한 어닐링, 답변 전용 타겟에 대한 지도 미세 조정(SFT), 다중 교사 온라인 증류(MOPD), GRPO를 통한 강화 학습(RLVR, 에이전트 RL, RLAIF 포함)의 표준 단계를 거칩니다. 또한 웹 채팅 인터페이스, OpenAI 호환 서버, 평가 도구 모음이 포함되어 있습니다. 모든 과정은 단일 tinybrain 명령줄 도구에 의해 제어되며, 각 단계를 자동으로 연결하고 단계 사이에 체크포인트를 저장합니다.
대상 사용자
이 프로젝트는 완전한 중국어 LLM 학습 파이프라인을 처음부터 이해하거나 재현하려는 개발자와 연구자를 대상으로 합니다. 또한 단일 GPU에서 소형(167M 또는 499M 파라미터) 모델을 실험하고 싶거나, 교육 및 연구 목적으로 완전히 투명한 데이터 및 학습 워크플로우가 필요한 사용자에게 적합합니다.
주요 특징
- 완벽한 제로 베이스 파이프라인: 데이터 수집, 정제, 중복 제거, 토크나이저 학습, 사전 학습, SFT, 증류, RL, 추론 및 평가—모든 코드가 읽기 쉽고 독립적입니다.
- 혁신적인 아키텍처: 이중 확률 제약이 있는 멀티 스트림 잔차 연결(mHC), Engram 룩업 테이블 메모리, 슬라이딩 윈도우가 있는 GQA, 선택적 MoE.
- 중국어 특화 설계: 토크나이저, 데이터 비율 및 평가 기준은 고전 중국어와 시를 포함하여 중국어에 맞게 조정되었습니다.
- 단일 GPU 실용성: 소형 모델은 RTX 5070 Ti 16GB에서 약 20시간 동안 약 20B 토큰을 사전 학습할 수 있으며, 23M 파라미터 모델 데모는 M4 Max에서 약 3.3시간이 소요됩니다.
- 고도화된 계측: 로그는 손실, 그래디언트 노름, 속도, ETA를 표시하며, TensorBoard 동기화 및 벤치마크 도구가 포함되어 있습니다.
- 공개된 가중치: 소형 및 중형 채팅 연구용 가중치가 ModelScope에서 제공되며, 일치하는 런타임도 함께 제공됩니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트