kubeflow/mpi-operator

Kubernetes Operator for MPI-based applications (distributed training, HPC, etc.)

何を解決するか

Kubernetes上でallreduceスタイルの分散学習を実行するプロセスを単純化します。これは通常、複数のノードとGPUにまたがって調整するのが複雑です。

動作方法

このプロジェクトは、カスタムリソースMPIJobを導入するKubernetes Operatorを提供します。ユーザーはYAMLファイルでトレーニングの設定（ワーカー数やGPU要件など）を定義します。Operatorはジョブのライフサイクルを管理し、ランチャーポッドとワーカーポッドを調整して分散学習タスクを実行します。

対象ユーザー

MPIベースの分散学習フレームワークを使用してKubernetesクラスタ上でAIトレーニングワークロードをスケーリングする必要があるMLエンジニアおよびプラットフォームオペレーター。

特徴

  • GPU加速を備えたマルチノード分散学習をサポート。
  • Intel MPIやMPICHなどの一般的なMPI実装と統合。
  • ジョブ作成、成功、失敗率のメトリクスを公開することで、組み込みのモニタリングを提供。
  • より広範なKubeflowエコシステムと互換性あり。

関連

  • プロジェクト
    kubeflow/trainer

    PyTorch、JAX、およびXGBoostなどの様々なフレームワークを使用して、スケーラブルなLLMのファインチューニングおよびトレーニングを行うための、Kubernetesネイティブな分散AIプラットフォーム。

  • プロジェクト
    ray-project/kuberay

    Kubernetes オペレーターで、分散 AI ワークロード向けの Ray アプリケーションのデプロイ、スケーリング、管理をシンプルにします。

  • プロジェクト
    kubernetes-sigs/jobset

    KubernetesネイティブなAPIで、ジョブのグループを単一の単位として管理するもの。特に、分散AI/ML学習およびHPCワークロードのデプロイを簡素化することを目的として設計されている。

  • プロジェクト
    nebius/soperator

    AIトレーニングとHPC向けにSlurmクラスターのデプロイと管理を自動化するKubernetesオペレーターであり、高い信頼性と効率的なGPU利用を提供します。

  • プロジェクト
    kubeflow/pipelines

    A platform for building and deploying reusable, scalable end-to-end machine learning workflows on Kubernetes.