ymcui/Chinese-LLaMA-Alpaca

中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)

What it solves

此專案解決了原始 LLaMA 模型缺乏高品質、開源中文語言能力的問題。它提供的模型在中文語義理解與遵循中文指令方面表現更佳，適用於中文聊天、寫作與問答等任務。

How it works

本專案透過三個步驟增強原始 LLaMA 模型：

  1. Vocabulary Expansion：將原始 LLaMA 的詞彙表擴充至中文 token，提升編碼與解碼效率。
  2. Secondary Pre-training：在大規模中文文本資料上進一步訓練模型，以增進基礎語義理解。
  3. Instruction Fine-tuning：對 Alpaca 版本的模型使用標註的中文指令資料進行微調，提升模型理解與執行特定指令的能力。

因授權限制，專案僅發布 LoRA weights（補丁），使用者需自行將其與原始 LLaMA 權重合併以組成完整模型。

Who it’s for

  • Researchers and Developers：中文 NLP 社群中需要開源中文大模型的研究者與開發者。
  • End Users：希望在本機（CPU 或 GPU）上本地運行類 ChatGPT 體驗的最終使用者。
  • Developers：想透過 LangChain、privateGPT 等框架將中文大模型整合至應用程式的開發者。

Highlights

  • Multiple Model Variants：提供基礎模型（Chinese‑LLaMA）用於文字補全，與指令微調模型（Chinese‑Alpaca）用於對話，分別有 7B、13B、33B 三種規模。
  • Local Deployment：支援量化，可使用 llama.cpp、transformers 等工具在個人電腦上高效執行。
  • Broad Ecosystem Support：相容於 text-generation-webui、LlamaChat、LangChain、privateGPT 等生態系。
  • Open Training Tools：提供前置訓練與指令微調腳本，讓使用者可自行客製化模型。