Ramakm/AI-Engineering

A group of notebooks and other files which can help you learn AI from scratch.

AI 엔지니어링: 실습 중심 – 리포지토리가 제공하는 내용

TL;DR

자율 학습형, 노트북 기반의 커리큘럼으로 머신러닝의 수학적 기초부터 실제 AI 서비스(검색 증강 생성, OCR, API 제공 모델) 구축까지 단계적으로 학습할 수 있습니다. 모든 콘텐츠는 Jupyter 노트북 또는 소규모 Python 프로젝트에 포함되어 있으며, 명확한 폴더 구조와 추천 학습 경로가 제공됩니다.


대상자

  • 미적분에서 딥러닝까지 체계적인 학습 경로가 필요한 초보자.
  • LLM 중심 기술의 격차(검색 증강 생성 파이프라인, 파인튜닝, 배포)를 채우고 싶은 엔지니어.
  • 이론 중심 튜토리얼이 아닌 실습 중심 코드를 선호하는 사람.

실제로 얻을 수 있는 것

섹션 핵심 내용 실행 가능한 출력 예시
1. 수학 기초 미분, 벡터, 기울기, 확률. 후속 PyTorch 코드에 직접 연결되는 노트북 기반 계산.
2. PyTorch 기초 텐서 생성, 재구성, 인덱싱, 기본 연산. 모델의 기본이 되는 텐서 조작을 위한 작은 스크립트.
3. 신경망 (NN) 단일 뉴런 구현, 층 쌓기, 역전파 노트. 라이브러리의 마법 없이 완전히 자체 구현한 최소한의 피드포워드 네트워크.
4. Transformer 어텐션, 멀티헤드 어텐션, 디코더 전용 아키텍처. 작은 Transformer를 노트북에서 조립하고 포워드 패스를 실행하는 예제.
5. 검색 증강 생성 (RAG) 엔드투엔드 파이프라인: 문서 청크화, 모델로 임베딩, FAISS에 저장, 검색, 설정 가능한 LLM 제공자(Atlas Cloud, MiniMax, OpenAI, 호환 API)를 통한 답변 생성. 제공된 FAISS 인덱스를 사용해 사이버보안 질문에 답변하는 실행 가능한 app.py.
6. OCR 이미지 전처리 + 텍스트 추출 (pytesseract + Gemini). 업로드된 이미지에서 텍스트를 추출하는 소규모 FastAPI/Render 대응 서비스 (main.py).
LLM 기초 토큰, 임베딩, 토큰화 이론. RAG 섹션을 보완하는 노트북 설명.
파인튜닝 LoRA, QLoRA, Unsloth 노트북. 소규모 JSON 추출 데이터셋에서 베이스 LLM을 적응시키는 방법을 보여주는 스크립트.
기본 ML 모델 선형, 릿지, 로지스틱 회귀, 결정 트리, SVM, 군집화. 빠른 실험을 위한 클래식한 scikit-learn 노트북.
DL 프로덕션 프로젝트 ANN/CNN, RNN/LSTM, GRU 예제를 FastAPI 또는 Streamlit으로 제공, Docker화. python train.py 이후 uvicorn app.main:app로 시작할 수 있는 완전 기능 API.
데이터 분석 및 유틸리티 전자상거래 데이터셋 탐색, YouTube 자막 서버, 면접 준비 체크리스트, 서적 목록. 연습과 맥락을 위한 추가 리소스.

시작 방법

  1. 클론 및 설치: 최상위 requirements.txt 설치.
  2. Jupyter 실행 (jupyter lab 또는 jupyter notebook).
  3. Start_here/learning_path.md의 학습 경로를 따라, 노트북을 1 → 2 → 3 → 4 순서로 실행.
  4. 프로젝트 폴더(RAG, OCR, DL)에 도달하면, 해당 폴더의 README.md를 읽고 제공된 app.py 또는 train.py를 실행하기 전에 추가 요구사항을 설치.

주목할 만한 강점

  • 엔드투엔드 커버리지 – 이론부터 배포된 서비스까지, 하나의 리포지토리에서 완성.
  • 모듈식 구조 – 관련 없는 코드를 넘기지 않고도 필요한 섹션(예: RAG 파이프라인만)을 선택 가능.
  • 현실 세계 예제 – 사이버보안 문서를 대상으로 한 RAG 사용 사례와 실행 가능한 OCR 서비스가 준비되어 있음.
  • 프로덕션 스타일 코드 – FastAPI/Streamlit 래퍼, Dockerfiles, 테스트를 통해 노트북에서 서비스로의 전환을 경험 가능.

가능한 단점

  • 리포지토리가 매우 큼 – 단일 주제만 필요할 경우 전체 다운로드는 과도할 수 있음.
  • 일부 노트북은 기본 Python/NumPy 지식을 전제로 함 – 절대적인 초보자는 간단한 복습이 필요할 수 있음.
  • NN 섹션에 언급된 "Muon" 최적화 알고리즘은 표준 PyTorch 최적화 알고리즘이 아님 – 오타일 수 있거나, 다른 곳에 문서화되지 않은 커스텀 구현일 수 있음.

유지보수자

작성자 Ramakm (GitHub 핸들)은 X와 인스타그램에서 프로젝트를 홍보함. 리포지토리는 MIT 라이선스이며, 노트북 정돈 및 PR 스타일에 대한 명확한 가이드라인을 통해 기여를 환영함.


결론

수학 기초부터 시작해 LLM 기반 애플리케이션을 구축하고 배포하는 데 이르기까지, 단일하고 일관된 커리큘럼을 원한다면, 이 리포지토리는 정확히 그 것을 제공합니다. 실행 가능한 코드와 명확한 문서가 함께 제공됩니다.


빠른 시작 명령어 (클론 후):

pip install -r requirements.txt   # 기본 종속성
jupyter lab                      # 노트북 열기

그 후 Start_here/learning_path.md 가이드를 따르세요.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트