statmike/vertex-ai-mlops

Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations

What it solves

本项目提供一套完整的实操工作流库，用于在 Google Cloud Platform (GCP) 上实现机器学习运维 (MLOps) 与生成式 AI。它通过可适配的交互式笔记本，弥合理论文档与可投入生产的代码之间的差距，演示如何将 Vertex AI 与更广泛的 GCP 生态系统（如 BigQuery、Dataflow 以及各种数据库服务）集成。

How it works

此仓库按功能领域分类，收录超过 470 个交互式笔记本：

  • MLOps：覆盖从训练到上线的完整生命周期，包括服务（在线/批处理）、特征存储、KFP pipelines、模型评估与监控。
  • Data + AI：演示如何使用 BigQuery AI 函数、Dataflow 与 Dataproc 将推理带入数据。
  • Applied GenAI：聚焦于通过 RAG（检索增强生成）为大型语言模型提供基础，涵盖 11 种不同 GCP 数据库的向量搜索、嵌入策略与评估指标。
  • Applied Forecasting：提供时间序列预测的学习路径，从 BQML 到如 TimesFM 的基础模型皆有覆盖。
  • Framework Workflows：实现 PyTorch、Keras、CatBoost 与 R 的端到端流水线。
  • Applied ML：展示 AI 代理（使用 ADK 与 MCP）、文档处理以及通过 Vertex AI Vizier 进行黑箱优化的原型。

Who it’s for

  • 在 Google Cloud 生态系统中工作的 ML 工程师和数据科学家。
  • 想要在 Vertex AI 上构建与部署 AI 代理或 RAG 流水线的开发者。
  • 需要实用模式以在 GCP 上扩展 ML 推理与管理特征存储的团队。

Highlights

  • Massive Scale：超过 470 个交互式笔记本，覆盖广泛的 GCP AI 服务。
  • Broad Integration：展示如何将 Vertex AI 与 BigQuery、Spanner、AlloyDB、GKE 连接。
  • RAG Deep Dives：深入比较 11 种不同 Google Cloud 数据库的向量搜索。
  • Agentic Workflows：提供使用 Agent Engine 与 ADK 的 AI 代理实现示例。