statmike/vertex-ai-mlops

What it solves

このプロジェクトは、Google Cloud Platform (GCP) 上で機械学習オペレーション (MLOps) と生成 AI を実装するためのハンズオンワークフローの包括的ライブラリを提供します。理論的なドキュメントと本番環境向けコードのギャップを埋めるべく、Vertex AI と BigQuery、Dataflow、各種データベースサービスなど GCP エコシステム全体との統合方法を示す、適応可能なインタラクティブノートブックを提供します。

How it works

リポジトリは機能領域別に分類された 470 以上のインタラクティブノートブックで構成されています：

• MLOps：トレーニングから本番までのフルライフサイクルをカバーし、オンライン/バッチサービング、フィーチャーストア、KFP パイプライン、モデル評価、モニタリングを含みます。
• Data + AI：BigQuery AI 関数、Dataflow、Dataproc を使用してデータ上で推論を実行する方法を示します。
• Applied GenAI：RAG（リトリーバル拡張生成）による LLM の基盤化に焦点を当て、11 種類の GCP データベースにわたるベクトル検索、埋め込み戦略、評価指標を網羅します。
• Applied Forecasting：BQML から TimesFM などの基盤モデルまで、時系列予測の学習パスを提供します。
• Framework Workflows：PyTorch、Keras、CatBoost、R のエンドツーエンドパイプラインを実装します。
• Applied ML：ADK と MCP を用いた AI エージェント、文書処理、Vertex AI Vizier を利用したブラックボックス最適化のプロトタイプを紹介します。

Who it’s for

• Google Cloud エコシステムで働く ML エンジニアやデータサイエンティスト。
• Vertex AI 上で AI エージェントや RAG パイプラインを構築・デプロイしたい開発者。
• GCP 上で ML 推論をスケールさせ、フィーチャーストアを管理する実践パターンが必要なチーム。

Highlights

• Massive Scale：470 以上のインタラクティブノートブックで、幅広い GCP AI サービスを網羅。
• Broad Integration：Vertex AI と BigQuery、Spanner、AlloyDB、GKE の接続方法を示します。
• RAG Deep Dives：11 種類の Google Cloud データベースにおけるベクトル検索の詳細比較。
• Agentic Workflows：Agent Engine と ADK を使用した AI エージェントの実装例を提供。