kubeflow/pipelines

Machine Learning Pipelines for Kubeflow

何を解決するか

Kubeflow Pipelines は、Kubernetes 上でのエンドツーエンドの機械学習（ML）ワークフローのデプロイとオーケストレーションを簡素化します。ML実験の管理の複雑さに対処し、ワークフローが異なる環境間でポータブルかつスケーラブルであることを保証します。

動作方法

このシステムは専用の SDK を使って再利用可能なコンポーネントとパイプラインを構築します。これらのワークフローは Argo Emissary エグゼキューターを使用してオーケストレーションされ、コンテナランタイムとは独立して Kubernetes リソースを管理できます。Kubeflow プラットフォームの一部として、またはスタンドアロンサービスとしてインストール可能です。

対象ユーザー

Kubernetes クラスタ間でポータブルかつ再利用可能な ML パイプラインを構築・管理・スケーリングする必要がある ML エンジニアやデータサイエンティスト。

主な特徴

  • エンドツーエンドのオーケストレーション: 一貫した管理を可能にし、複雑な ML ワークフローの開始から終了までを簡素化します。
  • 簡単な実験: 異なる手法を試すプロセスをスムーズにし、複数の試行を効率的に管理できます。
  • 再利用可能なコンポーネント: 既存のパイプラインコンポーネントを再利用することで、再構築せずに迅速にソリューションを構築できます。

関連

  • プロジェクト
    argoproj/argo-workflows

    Kubernetes向けのコンテナネイティブなワークフローエンジンで、並列ジョブをオーケストレーションし、特に機械学習パイプラインとデータ処理に最適化されています。

  • プロジェクト
    kubeflow/kubeflow

    Kubeflowは、Kubernetesネイティブなオープンソースプラットフォームであり、トレーニング、パイプライン、ノートブック、サービングなどのモジュール型AI/MLツールを、モデルライフサイクル全体にわたってポータブルかつスケーラブルなスタックとしてバンドルしています。

  • プロジェクト
    kubeflow/community-distribution

    Kubeflow Community Distribution は、Kind、EKS、GKE などのクラスタに完全な Kubeflow ML プラットフォーム（Pipelines、Notebooks、Katib、KServe、Istio など）をインストールするための、キュレーションされた Kubernetes マニフェスト（Kustomize 経由）を提供します。単一コマンドまたはコンポーネント単位のデプロイをサポートし、年 2 回の安定版リリースを提供し、CI テスト済みのインストールスクリプトを含みます。

  • プロジェクト
    kubeflow/katib

    あらゆる ML フレームワーク向けの、Kubernetes ネイティブな AutoML プロジェクト。自動ハイパーパラメータチューニング、ニューラルアーキテクチャ探索、および早期停止を提供します。

  • プロジェクト
    tensorflow/tensorflow

    機械学習のためのエンドツーエンドのオープンソースプラットフォーム。MLを活用したアプリケーションの構築とデプロイに必要なツールとライブラリを提供します。