changyeyu/LLM-RL-Visualized

이 프로젝트는 무엇인가요?

LLM-RL-Visualized는 대규모 언어 모델(LLM)과 강화 학습(RL)이 어떻게 작동하는지 설명하는 100개 이상의 독창적인 아키텍처 다이어그램 모음입니다. 다이어그램은 다음과 같은 주제를 다룹니다:

• LLM / VLM(비전-언어 모델) 원리
• 훈련 알고리즘: RL, RLHF, GRPO, DPO, SFT, CoT 증류
• 효과 최적화 및 RAG(검색 증강 생성)

시각적 학습 리소스입니다. 저자는 복잡한 AI 개념을 더 쉽게 이해할 수 있도록 다이어그램을 그립니다.

무엇이 포함되어 있나요?

저장소는 11개 부분으로 구성되어 있으며, 각 부분은 다른 영역을 다룹니다:

1. 기술 개요 지도 — LLM 및 RL 알고리즘의 큰 그림 다이어그램
2. LLM 기초 — 모델 구조, 입력/출력 레이어, 디코딩, 멀티모달 모델, 훈련 파이프라인
3. SFT(지도 미세 조정) — 미세 조정 기법, LoRA, Prefix-Tuning, 손실 함수, 데이터 처리
4. DPO(직접 선호 최적화) — DPO 작동 방식, RLHF와의 비교, 훈련 다이어그램
5. 훈련 없는 최적화 — CoT(사고 사슬), 검색 전략, 샘플링 방법, RAG, 함수 호출
6. RL 기초 — 마르코프 과정, 가치 함수, DQN, 정책 그래디언트, 다중 에이전트 RL, 모방 학습
7. 정책 최적화 아키텍처 — Actor-Critic, PPO, TRPO, GAE, DDPG, GRPO
8. RLHF 및 RLAIF — 보상 모델, PPO 기반 RLHF, 거부 샘플링, 헌법적 AI
9. 추론 최적화 — 지식 증류, MCTS, best-of-N 샘플링, 다수결 투표
10. LLM 확장 — 양자화, 위치 인코딩, 정규화, 프루닝, 벤치마크
11. 부록 — 텍스트 설명, 참고 문헌, 인용 형식

주요 기능

• 고해상도 이미지: 아무 다이어그램이나 클릭하여 큰 버전을 보거나 .svg 벡터 파일을 탐색하세요(무한 확대, 텍스트 선택 가능)
• 이중 언어: 중국어와 영어로 제공(두 가지 README 버전)
• 보너스 PDF: 대형 "강화 학습 알고리즘 지도" PDF와 "정책 그래디언트" 유도 PDF 포함
• 동반 서적: 저자는 《대모형 알고리즘: 강화 학습, 미세 조정 및 정렬》이라는 책도 집필했으며, 다이어그램에 대한 더 자세한 설명을 제공합니다
• 적극적으로 유지 관리: 저자는 저장소가 지속적으로 수정되고 확장된다고 밝혔습니다

누구를 위한 것인가요?

현대 AI 모델이 어떻게 구축되고 훈련되는지 시각적으로 이해하고 싶은 모든 사람을 위한 것입니다. LLM의 내부 구조부터 PPO 및 GRPO와 같은 강화 학습 알고리즘 뒤에 있는 수학까지. 다이어그램은 이러한 밀도 높은 주제를 더 접근하기 쉽게 만들기 위해 설계되었습니다.

사용 방법

README는 본질적으로 목차입니다. 각 항목은 짧은 설명과 함께 다이어그램(PNG 또는 SVG)에 대한 링크입니다. 주제별로 탐색하고, 클릭하여 전체 크기 이미지를 보고, 링크를 따라 PDF 파일에서 더 깊이 있게 학습할 수 있습니다.

참고: README에는 이 프로젝트가 오픈소스 프로젝트를 추천하는 플랫폼인 HelloGitHub에 소개되었다고 언급되어 있습니다.