statmike/vertex-ai-mlops

Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations

What it solves

本專案提供一套完整的實作工作流程庫，用於在 Google Cloud Platform (GCP) 上實施機器學習運營 (MLOps) 與生成式 AI。它透過可調整的互動式筆記本，彌合理論文件與可投入生產的程式碼之間的差距，示範如何將 Vertex AI 與更廣泛的 GCP 生態系統（如 BigQuery、Dataflow 以及各種資料庫服務）整合。

How it works

此儲存庫以功能領域分類，收錄超過 470 個互動式筆記本：

  • MLOps：涵蓋從訓練到上線的完整生命週期，包括服務（線上/批次）、特徵儲存、KFP pipelines、模型評估與監控。
  • Data + AI：示範如何使用 BigQuery AI 函式、Dataflow 與 Dataproc 將推論帶入資料。
  • Applied GenAI：聚焦於透過 RAG（檢索增強生成）為大型語言模型提供基礎，涵蓋 11 種不同 GCP 資料庫的向量搜尋、嵌入策略與評估指標。
  • Applied Forecasting：提供時間序列預測的學習路徑，從 BQML 到如 TimesFM 的基礎模型皆有涵蓋。
  • Framework Workflows：實作 PyTorch、Keras、CatBoost 與 R 的端到端管線。
  • Applied ML：展示 AI 代理（使用 ADK 與 MCP）、文件處理以及透過 Vertex AI Vizier 進行黑箱最佳化的原型。

Who it’s for

  • 在 Google Cloud 生態系統中工作的 ML 工程師與資料科學家。
  • 想要在 Vertex AI 上建置與部署 AI 代理或 RAG 管線的開發者。
  • 需要實務模式以在 GCP 上擴展 ML 推論與管理特徵儲存的團隊。

Highlights

  • Massive Scale：超過 470 個互動式筆記本，涵蓋廣泛的 GCP AI 服務。
  • Broad Integration：示範如何將 Vertex AI 與 BigQuery、Spanner、AlloyDB、GKE 連結。
  • RAG Deep Dives：深入比較 11 種不同 Google Cloud 資料庫的向量搜尋。
  • Agentic Workflows：提供使用 Agent Engine 與 ADK 的 AI 代理實作範例。