statmike/gcp-mlops

Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations

📚 什么是 gcp-mlops？

一个庞大的、社区维护的 交互式 Jupyter 笔记本 集合，演示了在 Google Cloud 上的端到端机器学习和生成式 AI 工作流。该仓库追踪了 Google AI 平台的演进——从 Cloud ML Engine 到 Vertex AI 以及最新的 Gemini Enterprise Agent Platform——展示了如何将 BigQuery、Dataflow、Dataproc、Managed Airflow、Cloud Run、GKE 以及众多 Google 数据库等服务整合到生产级 MLOps 管道中。

🎯 核心目的

学习：逐步、动手实践的笔记本，涵盖从数据摄取到模型服务的所有内容。
改编：可复制到您自己项目中的可重用模式。
展示：Google Cloud 服务如何相互协作，用于训练、服务、监控、特征存储、RAG、代理等。

📂 仓库布局（高层）

部分	笔记本	亮点
MLOps	74	Vertex AI 训练、服务（在线、批量、SQL）、特征存储实现、KFP 管道、模型评估/监控、实验跟踪
data+ai	40	使用 BigQuery ML 函数的数据库内 AI、通过 Dataflow 的流式推理、Dataproc 上的 Spark 推理、Airflow 编排、AlloyDB/Spanner 上的 SQL 推理
Applied GenAI	53	Gemini SDK、多模态生成、跨 11 个 GCP 数据库的向量搜索、RAG 引擎、接地检查、排序、评估
Applied Forecasting	20	使用 BQML ARIMA+、Prophet、TensorFlow/Seq2Seq、基础模型（TimesFM）、KFP 管道的时间序列
Framework Workflows	34	针对 PyTorch、Keras/JAX、CatBoost、Vertex AI AutoML、Flax、R 的端到端管道——共享公共数据源和模型注册表
Applied ML	26	使用 ADK/MCP 构建的 AI 代理、解决方案原型（文档处理、产品分类）、使用 Vertex AI Vizier 的优化
Extras	数十个	TensorFlow、scikit-learn、R、AutoML 深入探讨、技巧、Document AI 指南

🚀 典型用例

在 Vertex AI 上使用 KFP、特征存储和自动监控构建 生产 MLOps 管道。
部署 LLM（例如 Gemini、vLLM、Triton）用于在线或批量推理，包括基于向量搜索的 RAG。
在数据所在位置运行推理——使用 BigQuery ML 函数、Dataflow RunInference 或 Dataproc 上的 Spark。
使用 Gemini Enterprise Agent Platform 创建 AI 代理，并通过 Agent Engine 部署。
使用经典统计模型（ARIMA+、Prophet）和基础模型（TimesFM）进行 时间序列预测。
尝试 特征存储设计——托管 Vertex Feature Store 与自管理 Bigtable。

🛠️ 快速入门（快速步骤）

克隆仓库

git clone https://github.com/statmike/gcp-mlops.git
cd gcp-mlops

打开笔记本 – 每个子文件夹包含一个 README.md，其中包含简短描述和 .ipynb 文件的链接。
设置 GCP 项目，启用所需的 API（Vertex AI、BigQuery、Dataflow 等）。笔记本包含一个辅助单元格，可为您运行 gcloud services enable …。
在笔记本中认证：
```
from google.colab import auth
auth.authenticate_user()
```
（或在本地使用 gcloud auth login）。
运行单元格 – 大多数笔记本仅启动必要的托管服务，因此您可以在适度的 VM 上进行实验。
改编 – 将您需要的笔记本部分复制到您自己的仓库中，用您自己的数据替换示例数据，并修改管道定义。

📜 许可证与贡献

许可证：Apache 2.0——免费用于商业和非商业用途。
贡献：欢迎通过拉取请求贡献；请参阅 CONTRIBUTING.md 和行为准则以获取指南。
免责声明：非 Google 官方产品；基于 Google Cloud 服务构建，但未经 Google 认可。

🔗 接下来去哪里？

探索 MLOps → Pipelines 笔记本，查看完整的 KFP 工作流。
深入 Applied GenAI → Retrieval，比较 BigQuery、Vertex AI Vector Search 和其他存储之间的向量搜索延迟。
尝试 Applied ML → AI Agents 下的 AI 代理 项目，看看新的 Gemini Enterprise Agent Platform 的实际应用。

本摘要仅基于仓库的 README；笔记本本身包含详细的代码和解释。