ymcui/Chinese-LLaMA-Alpaca

中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)

What it solves

이 프로젝트는 원본 LLaMA 모델에 고품질의 오픈소스 중국어 언어 기능이 부족한 문제를 해결합니다. 중국어 의미 이해와 중국어 지시를 따르는 능력이 향상된 모델을 제공하여 채팅, 글쓰기, 질의응답 등 중국어 작업에 적합합니다.

How it works

원본 LLaMA 모델을 다음 세 단계로 강화합니다:

  1. Vocabulary Expansion: 원본 LLaMA 어휘를 중국어 토큰으로 확장하여 인코딩·디코딩 효율을 높입니다.
  2. Secondary Pre-training: 대규모 중국어 텍스트 데이터로 추가 학습하여 기본 의미 이해를 개선합니다.
  3. Instruction Fine-tuning: Alpaca 버전은 라벨링된 중국어 지시 데이터로 미세조정하여 특정 명령을 이해하고 실행하는 능력을 향상시킵니다.

라이선스 제한으로 인해 프로젝트는 LoRA weights(패치)만 배포합니다. 사용자는 이를 원본 LLaMA 가중치와 병합하여 전체 모델을 만들어야 합니다.

Who it’s for

  • Researchers and Developers: 중국어 NLP 커뮤니티에서 오픈소스 중국어 LLM이 필요한 연구자 및 개발자.
  • End Users: 로컬(CPU 또는 GPU)에서 ChatGPT와 유사한 경험을 실행하고자 하는 최종 사용자.
  • Developers: LangChain이나 privateGPT와 같은 프레임워크를 통해 중국어 LLM 기능을 애플리케이션에 통합하려는 개발자.

Highlights

  • Multiple Model Variants: 텍스트 완성을 위한 베이스 모델(Chinese‑LLaMA)과 대화를 위한 지시 튜닝 모델(Chinese‑Alpaca)을 7B, 13B, 33B 크기로 제공.
  • Local Deployment: llama.cpp, transformers 등 도구를 사용한 양자화 지원으로 개인 PC에서 효율적으로 실행 가능.
  • Broad Ecosystem Support: text-generation-webui, LlamaChat, LangChain, privateGPT와 호환.
  • Open Training Tools: 사전 학습 및 지시 미세조정 스크립트를 제공하여 사용자가 모델을 추가로 커스터마이징할 수 있음.