wdndev/llm_interview_note

이게 뭔가요?

llm_interview_note는 대규모 언어 모델(LLMs)(ChatGPT와 같은 도구 뒤에 있는 기술)에 초점을 맞춘 개인용 오픈소스 학습 가이드이자 면접 준비 컬렉션입니다. 저자는 온라인 리소스에서 개념을 수집하고 일반적인 면접 질문에 대한 자신의 답변을 작성했습니다.

무엇이 포함되어 있나요?

리포지토리는 LLM의 전체 수명 주기를 다루는 구조화된 노트 세트로 구성되어 있습니다:

• LLM 기초 — 역사, 토큰화, 단어 벡터, 언어 모델, 딥러닝 기초
• 모델 아키텍처 — Transformer, 어텐션 메커니즘, 위치 인코딩, BERT 및 잘 알려진 모델(LLaMA 시리즈, ChatGLM 시리즈)
• 훈련 데이터 — 데이터셋 형식 및 모델 매개변수
• 분산 훈련 — 데이터 병렬 처리, 파이프라인 병렬 처리, 텐서 병렬 처리, DeepSpeed, Megatron 및 메모리 문제
• 지도 미세 조정 — 프롬프팅, 어댑터 튜닝, LoRA 및 LLaMA2 및 ChatGLM3에 대한 실용적인 미세 조정 예제
• 추론 — 프레임워크(vLLM, FasterTransformer, TensorRT-LLM), 최적화 기술 및 양자화
• 강화 학습 — PPO, RLHF, DPO
• RAG 및 에이전트 — 검색 증강 생성 및 에이전트 기술
• 평가 — 모델 평가 및 LLM 환각
• 애플리케이션 — 사고 사슬 프롬프팅 및 LangChain
• 실제 면접 질문 — 실제 면접 질문이 포함된 전용 섹션

각 주제는 별도의 마크다운 파일이며, 전체는 웹사이트로 온라인에서 읽을 수 있습니다.

누구를 위한 것인가요?

LLM 관련 취업 면접을 준비하는 사람들 또는 LLM 개념에 대한 구조화된 개요를 원하는 사람들. 저자는 답변이 자체 작성되었음을 명시하고 수정을 환영합니다.

관련 실습 프로젝트

README에는 실습 학습을 위한 여러 보조 리포지토리 링크가 있습니다:

• tiny-llm-zh — 작은 중국어 LLM을 처음부터 구축(사전 훈련, 미세 조정, RL)
• tiny-rag — 다중 검색 및 재순위화를 갖춘 간단한 RAG 시스템 구축
• tiny-mcp — 프롬프트 및 함수 호출을 사용하여 MCP(모델 컨텍스트 프로토콜) 서버/클라이언트 구현
• llama3-from-scratch-zh — LLaMA3를 처음부터 구현, 16GB RAM 노트북에서 실행 가능

또한 딥러닝, 머신러닝 및 추천 시스템을 다루는 더 광범위한 AI 엔지니어 면접 노트도 있습니다.

접근 방법

• 온라인 읽기: LLMs Interview Note
• GitHub: 리포지토리 자체(유용하다면 스타를 눌러주세요, 저자의 요청에 따라)
• 저자는 또한 LLM 콘텐츠 및 면접 경험을 위한 WeChat 공식 계정을 운영합니다(README에 QR 코드가 있음).

주요 주의 사항

콘텐츠는 저자가 직접 작성한 것이며 공식 또는 동료 검토 소스가 아닙니다. 저자는 독자에게 부정확한 점을 지적해 줄 것을 명시적으로 요청합니다.