meta-pytorch/torchx

TorchX is a universal job launcher for PyTorch applications. TorchX is designed to have fast iteration time for training/research and support for E2E production ML pipelines when you're ready.

What it solves

TorchX 简化了在不同计算环境下的 PyTorch 应用的启动和管理过程。它消除了用户为各种集群管理器或云服务商编写复杂的、特定于环境的配置文件，为任务提交提供了一个通用的接口。

How it works

TorchX 作为一个通用的任务启动器。它抽象了底层基础设施，允许用户在各种受支持的调度器上启动 PyTorch 任务，包括 Kubernetes (EKS, GKE, AKS), Slurm, AWS Batch, Docker, 和 local machines。

How it works

TorchX 作为一个通用的任务启动器。它抽象了底层基础设施，允许用户在各种受支持的调度调度器上启动 PyTorch 任务，包括 Kubernetes (EKS, GKE, AKS), Slurm, AWS Batch, Docker, 和 local machines。

Who it's for

该工具是为 PyTorch 开发人员和 ML 研究人员设计的，他们需要在各种不同的计算资源上运行代码，而无需学习每个调度器的特定配置要求。

Highlights

  • PyTorch 应用的通用任务启动器。
  • 支持多种调度器：Kubernetes, Slurm, AWS Batch, Docker, 和 local。
  • 专为快速研究迭代和端端到端生产级 ML pipelines 进行了设计。
  • 为任务提交提供 CLI 和 SDK。