datawhalechina/self-llm

이 프로젝트가 무엇인가

self-llm (제목: "开源大模型食用指南", 대략 "오픈소스 LLM 초보자 가이드")은 무료로 제공되는 커뮤니티 작성 튜토리얼 모음입니다. 중국어를 사용하는 초보자에게 Linux 컴퓨터에서 오픈소스 대규모 언어 모델(LLM)을 설치, 실행, 사용자 지정하는 방법을 가르칩니다.

이 프로젝트의 핵심 목표는 기술적 장벽을 낮추어 일반 학생과 연구자——엔지니어뿐만 아니라——가 유료 API를 호출하는 대신 실제로 로컬에서 오픈소스 LLM을 사용할 수 있게 하는 것입니다.

대상 독자

README에는 다음과 같은 대상 학습자가 나열되어 있습니다:

• LLM을 사용하고 싶지만 상용 API에 접근할 수 없거나 비용을 감당할 수 없는 사람
• 장기적이고 저비용이며 대용량의 LLM 사용이 필요한 사람
• 오픈소스 LLM에 호기심이 있고 실습 경험을 원하는 사람
• 이론을 넘어서고 싶은 NLP 학생
• 맞춤형 도메인 특화 LLM(예: 자신의 분야)을 구축하려는 사람
• 특별한 기술적 배경이 없는 일반 학생

가르치는 내용

권장 순서에 따른 4가지 주요 기술 영역:

1. 환경 설정 — 다양한 모델에 맞춘 단계별 Linux 구성 가이드
2. 배포 — 명령줄 사용, 웹 데모, LangChain 프레임워크와의 통합을 포함하여 모델을 로컬에서 실행하는 방법
3. 미세 조정 — 전체 미세 조정(분산 훈련 포함)과 LoRA 및 P-Tuning과 같은 효율적인 방법 모두
4. 응용 — 배포 후 모델을 사용하는 실용적인 방법

지원되는 모델 및 플랫폼

• 50개 이상의 주류 LLM이 다루어지며, 각각 완전한 배포, 미세 조정, 사용 튜토리얼이 있습니다. 예: Qwen(여러 버전), DeepSeek, GLM/ChatGLM, Llama, InternLM, MiniCPM, Gemma, Kimi, Baichuan, Yi 등.
• AMD GPU 섹션 — ROCm을 통해 AMD 하드웨어에서 모델을 실행하는 튜토리얼. LM Studio, vLLM, Ollama, llama.cpp와 같은 도구 사용. AMD 대학 프로그램의 지원을 받습니다.
• Ascend NPU 섹션 — Huawei Ascend NPU 플랫폼용 튜토리얼. vLLM-ascend, MindIE, sglang-ascend를 통한 배포와 성능/정확도 테스트 가이드 포함.
• Apple M 시리즈 — Apple Silicon Mac 전용 섹션(별도 링크).
• Muxi GPU — "곧 제공"으로 나열됨.
• 프로젝트는 다른 하드웨어 플랫폼(예: Moore Threads MUSA)의 기여를 명시적으로 환영합니다.

포함된 예제 프로젝트

4개의 완전한 예제가 실제 파이프라인을 보여줍니다:

• Chat-嬛嬛 — 중국 TV 드라마 《황후의 품격》의 대사로 LoRA를 사용하여 미세 조정된 챗봇으로, 캐릭터의 말투를 모방합니다
• Tianji-天机 — 사회적/대인 관계 시나리오를 위한 완전한 LLM 시스템. 프롬프트 엔지니어링, 에이전트 구축, 데이터 수집, 미세 조정, RAG 데이터 정리를 다룹니다
• AMChat — InternLM2-Math-7B에서 미세 조정된 수학 특화 LLM으로, 고급 수학 질문에 답변합니다
• 数字生命 (디지털 라이프) — 사용자 지정 데이터 세트로 미세 조정된 개인 AI 클론으로, 제작자의 어조, 표현, 사고 패턴을 모방합니다. 데이터 세트 구축 과정이 핵심 혁신으로 강조됩니다

권장 학습 경로

1. 먼저 환경 설정(기초입니다)
2. 두 번째로 모델 배포 및 사용
3. 마지막으로 미세 조정(고급 주제입니다)

초보자는 Qwen1.5, InternLM2, MiniCPM과 같은 모델부터 시작하는 것이 좋습니다.

커뮤니티 및 기여

• 누구나 이슈를 열거나 풀 리퀘스트를 제출하여 프로젝트 구축에 도움을 줄 수 있습니다.
• 활발한 기여자는 유지 관리자로 추가될 수 있습니다.
• 이 프로젝트는 Datawhale 오픈소스 커뮤니티의 일부이며, 관련 튜토리얼도 유지 관리합니다: Happy-LLM(LLM을 처음부터 구축), Tiny-Universe(RAG, Agent, Eval 시스템을 직접 작성), so-large-llm(LLM 이론), llm-universe(LLM 애플리케이션 구축).
• 이름이 명시된 핵심 기여자들의 긴 목록이 크레딧으로 제공되며, 기여자 그래프와 스타 기록 차트도 있습니다.

핵심 요점

프로젝트의 명시된 사명: "우리는 LLM과 일반 사람들 사이의 디딤돌이 되기를 바랍니다——오픈소스의 자유롭고 평등한 정신으로 광대한 LLM 세계를 포용합니다."