ymcui/Chinese-LLaMA-Alpaca

中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)

What it solves

此项目解决了原始 LLaMA 模型缺乏高质量、开源中文语言能力的问题。它提供的模型在中文语义理解与遵循中文指令方面表现更佳，适用于中文聊天、写作和问答等任务。

How it works

本项目通过三步提升原始 LLaMA 模型：

  1. Vocabulary Expansion：将原始 LLaMA 的词表扩展至中文 token，提升编码与解码效率。
  2. Secondary Pre-training：在大规模中文文本数据上进一步训练模型，以增强基础语义理解。
  3. Instruction Fine-tuning：对 Alpaca 版本的模型使用标注的中文指令数据进行微调，提升模型理解与执行特定指令的能力。

由于授权限制，项目仅发布 LoRA weights（补丁），用户需自行将其与原始 LLaMA 权重合并以生成完整模型。

Who it’s for

  • Researchers and Developers：中文 NLP 社群中需要开源中文大模型的研究者与开发者。
  • End Users：希望在本机（CPU 或 GPU）上本地运行类 ChatGPT 体验的终端用户。
  • Developers：想通过 LangChain、privateGPT 等框架将中文大模型集成到应用中的开发者。

Highlights

  • Multiple Model Variants：提供基础模型（Chinese‑LLaMA）用于文本补全，和指令微调模型（Chinese‑Alpaca）用于对话，分别有 7B、13B、33B 三种规模。
  • Local Deployment：支持量化，可使用 llama.cpp、transformers 等工具在个人电脑上高效运行。
  • Broad Ecosystem Support：兼容 text-generation-webui、LlamaChat、LangChain、privateGPT 等生态系统。
  • Open Training Tools：提供预训练与指令微调脚本，让用户可以自行定制模型。