statmike/vertex-ai-mlops

해결하는 문제

이 프로젝트는 Google Cloud Platform (GCP)에서 머신러닝 운영(MLOps) 및 생성형 AI를 구현하기 위한 실용적이고 인터랙티브한 워크플로우의 포괄적인 라이브러리를 제공합니다. AI 모델 및 에이전트의 훈련, 서빙 및 관리를 위한 적응 가능한 시작점을 제공함으로써 이론적 문서와 프로덕션 수준의 코드 간격을 좁힙니다.

작동 방식

이 리포지토리는 전문 트랙으로 구성된 470개 이상의 인터랙티브 노트북으로 구성되어 있습니다:

• MLOps: 서빙(vLLM, Triton), 피처 스토어(관리형 및 Bigtable 기반), KFP 파이프라인 및 모델 모니터링을 포함하여 훈련부터 프로덕션까지의 전체 라이프사이클을 다룹니다.
• Data + AI: BigQuery, Dataflow, Dataproc과 같은 데이터 서비스에 AI 기능을 직접 통합하여 데이터가 있는 곳으로 추론을 가져옵니다.
• Applied GenAI: 고급 RAG 파이프라인, 멀티모달 프롬프팅, 11개의 서로 다른 GCP 데이터베이스에 걸친 벡터 검색 및 그라운딩 검증을 구현합니다.
• Applied Forecasting: BQML에서 TimesFM과 같은 파운데이션 모델까지 모든 것을 사용하여 시계열 예측을 위한 학습 경로를 제공합니다.
• Framework Workflows: PyTorch, Keras, CatBoost 및 R을 위한 엔드투엔드 패턴을 보여주며, 공통 모델 레지스트리와 예측 엔드포인트를 공유합니다.
• Applied ML: AI 에이전트(ADK 및 MCP 사용), 문서 처리, Vertex AI Vizier를 통한 블랙박스 최적화를 위한 프로토타입을 제공합니다.

대상 독자

Google Cloud에서 AI 애플리케이션을 구축하고 있으며 실제 AI 워크플로우를 위해 다양한 GCP 서비스를 어떻게 오케스트레이션하는지에 대한 구체적이고 실습적인 예시가 필요한 데이터 과학자, ML 엔지니어 및 클라우드 아키텍트.

하이라이트

• 대규모: 방대한 GCP AI 서비스를 다루는 470개 이상의 인터랙티브 노트북.
• 딥 통합: Vertex AI를 BigQuery, Spanner, AlloyDB 및 GKE와 결합하는 방법을 보여줍니다.
• 에이전트 중심: Agent Engine과 ADK를 사용하는 최신 AI 에이전트 워크플로우가 포함되어 있습니다.
• RAG 전문화: 여러 데이터베이스 백엔드에 걸친 청킹, 랭킹 및 벡터 검색에 대한 상세한 가이드.