Chinese-LLaMA-Alpaca: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

이 프로젝트는 기존 LLaMA 모델의 고품질 오픈소스 중국어 능력 부족 문제를 해결합니다. 중국어의 의미론적 이해도가 높고 중국어 지시사항을 따를 수 있는 모델을 제공하여, 중국어 채팅, 글쓰기, 질의응답과 같은 작업에 적합하게 만듭니다.

작동 방식

이 프로젝트는 세 단계의 과정을 통해 기존 LLaMA 모델을 강화합니다:

1. 어휘 확장(Vocabulary Expansion): 기존 LLaMA 어휘를 중국어 토큰을 포함하도록 확장하여 인코딩 및 디코딩 효율성을 개선합니다.
2. 2차 사전 학습(Secondary Pre-training): 모델이 기본적인 의미론적 이해를 높일 수 있도록 대규모 중국어 텍스트 데이터로 추가 학습을 진행합니다.
3. 지시사항 미세 조정(Instruction Fine-tuning): Alpaca 버전의 경우, 특정 명령을 이해하고 실행하는 능력을 향상시키기 위해 라벨링된 중국어 지시사항 데이터로 미세 조정을 수행합니다.

라이선스 제한으로 인해, 이 프로젝트는 사용자가 전체 모델을 생성하기 위해 기존 LLaMA 가중치와 병합해야 하는 LoRA weights (패치)를 배포합니다.

대상 사용자

• 연구자 및 개발자: 오픈소스 중국어 LLM이 필요한 중국어 NLP 커뮤니티의 구성원.
• 최종 사용자: 자신의 하드웨어(CPU 또는 GPU)에서 ChatGPT와 유사한 경험을 로컬로 실행하고자 하는 사용자.
• 개발자: LangChain 또는 privateGPT와 같은 프레임워크를 통해 애플리케이션에 중국어 LLM 기능을 통합하려는 개발자.

주요 특징

• 다양한 모델 변체: 텍스트 완성용 베이스 모델(Chinese-LLaMA)과 대화용 지시사항 미세 조정 모델(Chinese-Alpaca)을 제공하며, 7B, 13B, 33B 크기로 사용할 수 있습니다.
• 로컬 배포: llama.cpp, transformers 및 기타 도구를 통해 개인용 컴퓨터에서 효율적으로 실행할 수 있도록 양자화를 지원합니다.
• 광범위한 생태계 지원: text-generation-webui, LlamaChat, LangChain, privateGPT와 호환됩니다.
• 오픈 학습 도구: 사용자가 모델을 추가로 커스터마이징할 수 있도록 사전 학습 및 지시사항 미세 조정을 위한 스크립트를 제공합니다.