ymcui/Chinese-LLaMA-Alpaca

中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)

What it solves

このプロジェクトは、元の LLaMA モデルに高品質なオープンソースの中国語能力が欠如している問題を解決します。中国語の意味理解と中国語指示に従う能力が向上したモデルを提供し、チャット、執筆、質問応答などの中国語タスクに適しています。

How it works

元の LLaMA モデルを以下の 3 ステップで強化します：

  1. Vocabulary Expansion：元の LLaMA の語彙を中国語トークンで拡張し、エンコード・デコード効率を向上させます。
  2. Secondary Pre-training：大規模な中国語テキストデータでさらに学習させ、基本的な意味理解を高めます。
  3. Instruction Fine-tuning：Alpaca バージョンでは、ラベル付けされた中国語指示データでファインチューニングし、特定コマンドの理解と実行能力を向上させます。

ライセンス制限のため、プロジェクトは LoRA weights（パッチ）だけを配布します。ユーザーはこれを元の LLaMA 重みとマージして完全なモデルを作成する必要があります。

Who it’s for

  • Researchers and Developers：中国語 NLP コミュニティでオープンソースの中国語 LLM が必要な研究者・開発者。
  • End Users：ローカル（CPU または GPU）で ChatGPT ライクな体験を実行したいエンドユーザー。
  • Developers：LangChain や privateGPT などのフレームワークを通じて中国語 LLM 機能をアプリに統合したい開発者。

Highlights

  • Multiple Model Variants：テキスト補完用のベースモデル（Chinese‑LLaMA）と対話用の指示チューニングモデル（Chinese‑Alpaca）を 7B、13B、33B のサイズで提供。
  • Local Deployment：llama.cpp、transformers などを用いた量子化に対応し、個人 PC で効率的に実行可能。
  • Broad Ecosystem Support：text-generation-webui、LlamaChat、LangChain、privateGPT と互換性あり。
  • Open Training Tools：事前学習と指示ファインチューニング用スクリプトを提供し、ユーザーがモデルをさらにカスタマイズできるようにしています。