statmike/vertex-ai-mlops

Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations

What it solves

이 프로젝트는 Google Cloud Platform(GCP)에서 머신러닝 운영(MLOps)과 생성 AI를 구현하기 위한 실습 워크플로 라이브러리를 제공합니다. 이론 문서와 프로덕션 수준 코드 사이의 격차를 메우기 위해, Vertex AI를 GCP 전체 생태계(예: BigQuery, Dataflow 및 다양한 데이터베이스 서비스)와 통합하는 방법을 보여주는 적응 가능한 인터랙티브 노트북을 제공합니다.

How it works

레포지토리는 기능 영역별로 분류된 470개 이상의 인터랙티브 노트북으로 구성됩니다:

  • MLOps: 교육부터 프로덕션까지 전체 라이프사이클을 다루며, 온라인/배치 서빙, 피처 스토어, KFP 파이프라인, 모델 평가 및 모니터링을 포함합니다.
  • Data + AI: BigQuery AI 함수, Dataflow, Dataproc을 사용해 데이터에 추론을 적용하는 방법을 시연합니다.
  • Applied GenAI: RAG(검색 강화 생성)를 통해 LLM을 기반화하는 데 중점을 두며, 11가지 GCP 데이터베이스에 걸친 벡터 검색, 임베딩 전략 및 평가 지표를 다룹니다.
  • Applied Forecasting: BQML부터 TimesFM과 같은 기반 모델까지, 시계열 예측 학습 경로를 제공합니다.
  • Framework Workflows: PyTorch, Keras, CatBoost, R의 엔드‑투‑엔드 파이프라인을 구현합니다.
  • Applied ML: ADK와 MCP를 활용한 AI 에이전트, 문서 처리, Vertex AI Vizier를 통한 블랙박스 최적화 프로토타입을 소개합니다.

Who it’s for

  • Google Cloud 생태계에서 일하는 ML 엔지니어 및 데이터 과학자.
  • Vertex AI에서 AI 에이전트 또는 RAG 파이프라인을 구축·배포하려는 개발자.
  • GCP에서 ML 추론을 확장하고 피처 스토어를 관리하기 위한 실용적인 패턴이 필요한 팀.

Highlights

  • Massive Scale: 470개 이상의 인터랙티브 노트북으로 방대한 GCP AI 서비스를 포괄합니다.
  • Broad Integration: Vertex AI와 BigQuery, Spanner, AlloyDB, GKE를 연결하는 방법을 보여줍니다.
  • RAG Deep Dives: 11가지 Google Cloud 데이터베이스에 대한 벡터 검색을 상세히 비교합니다.
  • Agentic Workflows: Agent Engine과 ADK를 사용한 AI 에이전트 구현 예시를 제공합니다.