Ramakm/AI-Engineering
A group of notebooks and other files which can help you learn AI from scratch.
AI 엔지니어링: 실습 중심 – 리포지토리가 제공하는 내용
TL;DR
자율 학습형, 노트북 기반의 커리큘럼으로 머신러닝의 수학적 기초부터 실제 AI 서비스(검색 증강 생성, OCR, API 제공 모델) 구축까지 단계적으로 학습할 수 있습니다. 모든 콘텐츠는 Jupyter 노트북 또는 소규모 Python 프로젝트에 포함되어 있으며, 명확한 폴더 구조와 추천 학습 경로가 제공됩니다.
대상자
- 미적분에서 딥러닝까지 체계적인 학습 경로가 필요한 초보자.
- LLM 중심 기술의 격차(검색 증강 생성 파이프라인, 파인튜닝, 배포)를 채우고 싶은 엔지니어.
- 이론 중심 튜토리얼이 아닌 실습 중심 코드를 선호하는 사람.
실제로 얻을 수 있는 것
| 섹션 | 핵심 내용 | 실행 가능한 출력 예시 |
|---|---|---|
| 1. 수학 기초 | 미분, 벡터, 기울기, 확률. | 후속 PyTorch 코드에 직접 연결되는 노트북 기반 계산. |
| 2. PyTorch 기초 | 텐서 생성, 재구성, 인덱싱, 기본 연산. | 모델의 기본이 되는 텐서 조작을 위한 작은 스크립트. |
| 3. 신경망 (NN) | 단일 뉴런 구현, 층 쌓기, 역전파 노트. | 라이브러리의 마법 없이 완전히 자체 구현한 최소한의 피드포워드 네트워크. |
| 4. Transformer | 어텐션, 멀티헤드 어텐션, 디코더 전용 아키텍처. | 작은 Transformer를 노트북에서 조립하고 포워드 패스를 실행하는 예제. |
| 5. 검색 증강 생성 (RAG) | 엔드투엔드 파이프라인: 문서 청크화, 모델로 임베딩, FAISS에 저장, 검색, 설정 가능한 LLM 제공자(Atlas Cloud, MiniMax, OpenAI, 호환 API)를 통한 답변 생성. | 제공된 FAISS 인덱스를 사용해 사이버보안 질문에 답변하는 실행 가능한 app.py. |
| 6. OCR | 이미지 전처리 + 텍스트 추출 (pytesseract + Gemini). | 업로드된 이미지에서 텍스트를 추출하는 소규모 FastAPI/Render 대응 서비스 (main.py). |
| LLM 기초 | 토큰, 임베딩, 토큰화 이론. | RAG 섹션을 보완하는 노트북 설명. |
| 파인튜닝 | LoRA, QLoRA, Unsloth 노트북. | 소규모 JSON 추출 데이터셋에서 베이스 LLM을 적응시키는 방법을 보여주는 스크립트. |
| 기본 ML 모델 | 선형, 릿지, 로지스틱 회귀, 결정 트리, SVM, 군집화. | 빠른 실험을 위한 클래식한 scikit-learn 노트북. |
| DL 프로덕션 프로젝트 | ANN/CNN, RNN/LSTM, GRU 예제를 FastAPI 또는 Streamlit으로 제공, Docker화. | python train.py 이후 uvicorn app.main:app로 시작할 수 있는 완전 기능 API. |
| 데이터 분석 및 유틸리티 | 전자상거래 데이터셋 탐색, YouTube 자막 서버, 면접 준비 체크리스트, 서적 목록. | 연습과 맥락을 위한 추가 리소스. |
시작 방법
- 클론 및 설치: 최상위
requirements.txt설치. - Jupyter 실행 (
jupyter lab또는jupyter notebook). Start_here/learning_path.md의 학습 경로를 따라, 노트북을 1 → 2 → 3 → 4 순서로 실행.- 프로젝트 폴더(RAG, OCR, DL)에 도달하면, 해당 폴더의
README.md를 읽고 제공된app.py또는train.py를 실행하기 전에 추가 요구사항을 설치.
주목할 만한 강점
- 엔드투엔드 커버리지 – 이론부터 배포된 서비스까지, 하나의 리포지토리에서 완성.
- 모듈식 구조 – 관련 없는 코드를 넘기지 않고도 필요한 섹션(예: RAG 파이프라인만)을 선택 가능.
- 현실 세계 예제 – 사이버보안 문서를 대상으로 한 RAG 사용 사례와 실행 가능한 OCR 서비스가 준비되어 있음.
- 프로덕션 스타일 코드 – FastAPI/Streamlit 래퍼, Dockerfiles, 테스트를 통해 노트북에서 서비스로의 전환을 경험 가능.
가능한 단점
- 리포지토리가 매우 큼 – 단일 주제만 필요할 경우 전체 다운로드는 과도할 수 있음.
- 일부 노트북은 기본 Python/NumPy 지식을 전제로 함 – 절대적인 초보자는 간단한 복습이 필요할 수 있음.
- NN 섹션에 언급된 "Muon" 최적화 알고리즘은 표준 PyTorch 최적화 알고리즘이 아님 – 오타일 수 있거나, 다른 곳에 문서화되지 않은 커스텀 구현일 수 있음.
유지보수자
작성자 Ramakm (GitHub 핸들)은 X와 인스타그램에서 프로젝트를 홍보함. 리포지토리는 MIT 라이선스이며, 노트북 정돈 및 PR 스타일에 대한 명확한 가이드라인을 통해 기여를 환영함.
결론
수학 기초부터 시작해 LLM 기반 애플리케이션을 구축하고 배포하는 데 이르기까지, 단일하고 일관된 커리큘럼을 원한다면, 이 리포지토리는 정확히 그 것을 제공합니다. 실행 가능한 코드와 명확한 문서가 함께 제공됩니다.
빠른 시작 명령어 (클론 후):
pip install -r requirements.txt # 기본 종속성
jupyter lab # 노트북 열기
그 후 Start_here/learning_path.md 가이드를 따르세요.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트