kubeflow/pipelines

Machine Learning Pipelines for Kubeflow

解决的问题

Kubeflow Pipelines 简化了在 Kubernetes 上部署和编排端到端机器学习（ML）工作流的过程。它解决了管理 ML 实验的复杂性，确保工作流在不同环境中可移植且可扩展。

工作原理

该系统使用专用 SDK 构建可重用的组件和流水线。这些工作流通过 Argo Emissary 执行器进行编排，使服务能够独立于容器运行时管理 Kubernetes 资源。它可以作为完整 Kubeflow 平台的一部分安装，也可以作为独立服务安装。

适用人群

需要在 Kubernetes 集群之间构建、管理和扩展可移植且可重用的 ML 流水线的 ML 工程师和数据科学家。

主要亮点

  • 端到端编排：简化从头到尾管理复杂 ML 工作流的过程。
  • 轻松实验：简化尝试不同技术并管理多个试验的流程。
  • 可重用组件：允许用户通过重用现有流水线组件快速构建解决方案，而无需从头重建。

相关

  • 项目
    argoproj/argo-workflows

    专为 Kubernetes 设计的容器原生工作流引擎，用于编排并行作业，特别针对机器学习流水线和数据处理进行了优化。

  • 项目
    kubeflow/kubeflow

    Kubeflow 是一个开源、基于 Kubernetes 的平台，将训练、管道、笔记本、服务等模块化 AI/ML 工具打包成一个可移植、可扩展的堆栈，覆盖整个模型生命周期。

  • 项目
    kubeflow/community-distribution

    Kubeflow Community Distribution 提供精选的 Kubernetes 清单（通过 Kustomize），用于在 Kind、EKS、GKE 等集群上安装完整的 Kubeflow ML 平台，包括 Pipelines、Notebooks、Katib、KServe、Istio 等。它支持单命令或逐组件部署，每年发布两次稳定版本，并包含 CI 测试的安装脚本。

  • 项目
    kubeflow/katib

    一个 Kubernetes 原生的 AutoML 项目，为任何机器学习框架提供自动超参数调优、神经网络架构搜索和早期停止功能。

  • 项目
    tensorflow/tensorflow

    一个端到端的开源机器学习平台，提供构建和部署机器学习驱动应用程序所需的工具和库。