statmike/gcp-mlops

📚 gcp‑mlops란?

방대한 규모의 커뮤니티 유지 관리형 대화형 Jupyter 노트북 모음으로, Google Cloud에서 엔드‑투‑엔드 머신러닝(ML) 및 생성형 AI 워크플로를 시연합니다. 이 저장소는 Cloud ML Engine에서 Vertex AI, 그리고 최신 Gemini Enterprise Agent Platform까지 Google AI 플랫폼의 진화를 추적하며, BigQuery, Dataflow, Dataproc, Managed Airflow, Cloud Run, GKE 및 다양한 Google 데이터베이스와 같은 서비스를 프로덕션 등급 MLOps 파이프라인으로 연결하는 방법을 보여줍니다.

---

🎯 핵심 목적

• 학습: 데이터 수집부터 모델 서빙까지 모든 것을 다루는 단계별 실습 노트북.
• 적용: 자신의 프로젝트에 복사할 수 있는 재사용 가능한 패턴.
• 소개: 훈련, 서빙, 모니터링, 피처 스토어, RAG, 에이전트 등을 위해 Google Cloud 서비스가 어떻게 상호 운용되는지 보여줍니다.

---

📂 저장소 구조(개요)

섹션	노트북 수	주요 내용
MLOps	74	Vertex AI 훈련, 서빙(온라인, 배치, SQL), 피처 스토어 구현, KFP 파이프라인, 모델 평가/모니터링, 실험 추적
data+ai	40	BigQuery ML 함수를 사용한 데이터베이스 내 AI, Dataflow를 통한 스트리밍 추론, Dataproc에서의 Spark 추론, Airflow 오케스트레이션, AlloyDB/Spanner에서의 SQL 기반 추론
Applied GenAI	53	Gemini SDK, 멀티모달 생성, 11개 GCP 데이터베이스에 걸친 벡터 검색, RAG 엔진, 근거 확인, 랭킹, 평가
Applied Forecasting	20	BQML ARIMA+, Prophet, TensorFlow/Seq2Seq, 파운데이션 모델(TimesFM), KFP 파이프라인을 사용한 시계열 분석
Framework Workflows	34	PyTorch, Keras/JAX, CatBoost, Vertex AI AutoML, Flax, R을 위한 엔드‑투‑엔드 파이프라인 – 모두 공통 데이터 소스와 모델 레지스트리를 공유
Applied ML	26	ADK/MCP로 구축된 AI 에이전트, 솔루션 프로토타입(문서 처리, 제품 분류), Vertex AI Vizier를 사용한 최적화
Extras	수십 개	TensorFlow, scikit‑learn, R, AutoML 심층 분석, 팁, Document AI 가이드

---

🚀 대표적인 사용 사례

• KFP, 피처 스토어, 자동 모니터링을 갖춘 Vertex AI에서 프로덕션 MLOps 파이프라인 구축.
• 온라인 또는 배치 추론을 위한 LLM 배포(예: Gemini, vLLM, Triton), 벡터 검색 기반 RAG 포함.
• 데이터가 있는 곳에서 추론 실행 – BigQuery ML 함수, Dataflow RunInference 또는 Dataproc에서 Spark 사용.
• Gemini Enterprise Agent Platform으로 AI 에이전트 생성 및 Agent Engine을 통한 배포.
• 고전 통계 모델(ARIMA+, Prophet)과 파운데이션 모델(TimesFM)을 모두 사용한 시계열 예측.
• 피처 스토어 설계 실험 – 관리형 Vertex Feature Store 대 자체 관리형 Bigtable.

---

🛠️ 시작하기(빠른 단계)

1. 저장소 복제

   git clone https://github.com/statmike/gcp-mlops.git
   cd gcp-mlops
   

2. 노트북 열기 – 각 하위 폴더에는 짧은 설명과 .ipynb 파일 링크가 있는 README.md가 포함되어 있습니다.
3. GCP 프로젝트 설정 – 필요한 API(Vertex AI, BigQuery, Dataflow 등)를 활성화합니다. 노트북에는 gcloud services enable …을 실행하는 헬퍼 셀이 포함되어 있습니다.
4. 노트북에서 인증:

   from google.colab import auth
   auth.authenticate_user()
   

   (또는 로컬에서 gcloud auth login 사용).
5. 셀 실행 – 대부분의 노트북은 필요한 관리 서비스만 실행하므로, 적당한 VM에서 실험할 수 있습니다.
6. 적용 – 필요한 노트북 섹션을 자신의 저장소에 복사하고, 샘플 데이터를 자신의 데이터로 교체한 후 파이프라인 정의를 수정하세요.

---

📜 라이선스 및 기여

• 라이선스: Apache 2.0 – 상업적 및 비상업적 용도로 무료 사용 가능.
• 기여: 풀 리퀘스트를 통해 환영합니다. CONTRIBUTING.md 및 행동 강령의 지침을 참조하세요.
• 면책 조항: 공식 Google 제품이 아닙니다. Google Cloud 서비스를 기반으로 구축되었지만 Google이 보증하지 않습니다.

---

🔗 다음 단계는?

• 전체 KFP 워크플로를 보려면 MLOps → Pipelines 노트북을 살펴보세요.
• BigQuery, Vertex AI Vector Search 및 기타 스토어에서 벡터 검색 지연 시간을 비교하려면 Applied GenAI → Retrieval을 살펴보세요.
• Applied ML → AI Agents에서 AI 에이전트 프로젝트를 시도하여 새로운 Gemini Enterprise Agent Platform을 확인해 보세요.

---

이 요약은 저장소의 README에만 기반합니다. 노트북 자체에는 상세한 코드와 설명이 포함되어 있습니다.