liguodongiot/llm-action

그것이 무엇인가

llm-action은 대규모 언어 모델(LLM)을 훈련, 미세 조정, 실행, 압축, 평가하는 방법을 배우기 위한 실습 튜토리얼, 기사, 샘플 코드 모음입니다. 주로 중국어로 작성되었으며 '吃果冻不吐果冻皮'라는 저자가 유지 관리합니다. 이 저장소는 본질적으로 서버 설정부터 모델을 프로덕션에 배포하는 것까지 LLM 프로젝트의 전체 수명 주기를 안내하는 가이드 투어입니다.

내부 내용

README는 전체 커리큘럼처럼 구성되어 있습니다. 다음을 다룹니다:

• 훈련 – Alpaca, ChatGLM, Vicuna, LLaMA와 같은 모델에 대한 실용적인 워크스루. 전체 미세 조정, LoRA, QLoRA, RLHF(인간 피드백 기반 강화 학습)와 같은 기술을 사용합니다. 각 워크스루는 상세한 기사(주로 Zhihu에 있음)로 연결되며 종종 해당 코드를 포함합니다.
• 미세 조정 이론 – '파라미터 효율적' 미세 조정이 무엇인지, BitFit, P-Tuning, Adapter, LoRA, QLoRA와 같은 방법이 어떻게 작동하는지 설명하는 7부작 시리즈.
• 분산 훈련 – 여러 GPU에 훈련을 분할하는 방법(데이터 병렬, 파이프라인 병렬, 텐서 병렬 등)과 PyTorch, Megatron-LM, DeepSpeed와 같은 프레임워크가 이를 수행하는 방법에 대한 기사.
• 추론 – 훈련된 모델이 빠르게 응답하도록 만드는 방법. 유명한 추론 엔진(vLLM, TensorRT-LLM, Triton)에 대한 가이드와 KV Cache 또는 연속 배치와 같은 최적화 기법을 포함합니다.
• 압축 – 양자화(GPTQ, AWQ, QLoRA 등), 가지치기, 지식 증류, 저랭크 분해를 통해 모델을 더 작고 실행 비용을 낮추는 방법. 각각 설명 기사가 있습니다.
• 평가 – 모델 성능을 테스트하는 벤치마크(C-Eval, CMMLU, LongBench, SWE-bench 등)와 OpenCompass와 같은 도구.
• 큰 그림 주제 – 데이터 엔지니어링, 프롬프트 엔지니어링, LLM을 실제 제품에 적용, 중국산 하드웨어에 모델 적응, AI 컴파일러, 면접 질문.

구성 방식

상세한 목차가 모든 것을 명확한 섹션으로 나눕니다. 각 섹션에는 다음 중 하나가 포함됩니다:

• 기사 목록(링크 포함), 또는
• 테이블(튜토리얼과 저장소의 해당 코드 폴더를 짝지은 것), 또는
• 간단한 메모(예: '待更新…'(업데이트 예정)) 아직 내용이 없을 때.

따라서 관심 있는 주제로 바로 이동하여 저자가 준비한 링크를 그대로 따라갈 수 있습니다.

대상 독자

LLM에 대한 실용적이고 안내된 학습을 원하는 사람들을 대상으로 합니다. 개발자, 학생, 연구자 등 이론을 읽는 것에서 자신의 하드웨어에서 실제로 훈련이나 미세 조정을 실행하는 것으로 전환하려는 사람들입니다. 저자는 또한 WeChat 그룹과 공개 계정을 운영하여 학습자가 질문할 수 있는 커뮤니티가 있음을 시사합니다.

코드 및 커뮤니티

저장소에는 튜토리얼과 일치하는 바로 사용할 수 있는 코드(예: llm-train/alpaca, llm-train/chatglm-lora, llm-train/peft)가 포함되어 있습니다. 배지 링크는 대부분의 기사가 있는 저자의 Zhihu, Juejin, CSDN 페이지와 커뮤니티 토론을 위한 WeChat 연락처를 가리킵니다.

참고: 위의 모든 내용은 README에서 직접 가져온 것입니다. 이 프로젝트는 공식 프레임워크나 라이브러리를 주장하지 않으며, 선별된 학습 자료 및 동반 코드 세트입니다.