meta-pytorch/torchx

TorchX is a universal job launcher for PyTorch applications. TorchX is designed to have fast iteration time for training/research and support for E2E production ML pipelines when you're ready.

What it solves

TorchX 簡化了在不同運算環境中啟動和管理 PyTorch 應用程式的過程。它消除了使用者為各種叢集管理器或雲端供應商編寫複雜且特定於環境的設定檔的需求，為工作提交提供了一個通用介面。

How it works

TorchX 作為一個通用工作啟動器。它抽象化了底層基礎設施，允許使用者在各種受支援的調度器上啟動 PyTorch 工作，包括 Kubernetes (EKS, GKE, AKS), Slurm, AWS Batch, Docker, 和 local machines。

Who it's for

此工具是為 PyTorch 開發者和 ML 研究人員設計的，他們需要在各種不同的運算資源上執行其代碼，而無需學習每個調度器的特定設定需求。

Highlights

  • PyTorch 應用程式的通用工作啟動器。
  • 支援多種調度器：Kubernetes, Slurm, AWS Batch, Docker, 和 local。
  • 專為快速研究迭代和端到端生產級 ML pipelines 進行設計。
  • 為工作提交提供 CLI 和 SDK。