meta-pytorch/torchx

TorchX is a universal job launcher for PyTorch applications. TorchX is designed to have fast iteration time for training/research and support for E2E production ML pipelines when you're ready.

解決的問題

TorchX 簡化了在不同計算環境中啟動和管理 PyTorch 應用程式的流程。它消除了為每個不同排程器撰寫環境特定設定檔的需要，讓研究人員與工程師無需變更程式碼，即可從本地開發平穩過渡至大規模生產流程。

作業方式

TorchX 作為一個通用工作啟動器運作。它提供統一介面，可將工作提交至各種排程器與基礎設施提供者，包含 Kubernetes（EKS、GKE、AKS）、Slurm、Docker 與本機電腦。

適用對象

專為需要在研究階段快速迭代，並隨後將工作負載擴展至生產環境 ML 流程的 PyTorch 使用者設計。

主要特色

  • PyTorch 應用程式的通用工作啟動器。
  • 支援 Kubernetes、Slurm 與 Docker 等多種排程器。
  • 支援訓練與研究的快速迭代。
  • 支援端對端的生產環境 ML 流程。

相關

  • 專案
    meta-pytorch/torchcomms

    An experimental communications API for PyTorch that provides a high-level collectives interface and support for multiple hardware backends like NCCL, RCCL, and XCCL.

  • 專案
    datawhalechina/torch-rechub

    Torch-RecHub 是一個支援 30 種以上模型、模組化設計、ONNX 匯出以及多種硬體後端的 PyTorch 框架。

  • 專案
    duoan/TorchCode

    一個用於練習從零開始實作 PyTorch 操作符與架構的互動式編碼平台，幫助準備 ML 工程師面試。

  • 專案
    alibaba/TorchEasyRec

    一個基於 PyTorch 的推薦系統框架，提供預先實作的最先進模型與可擴展基礎設施，適用於生產環境的深度學習推薦。

  • 專案
    MooreThreads/torch_musa

    torch_musa 是一個 PyTorch 擴充，為 Moore Threads GPU 加入了 **MUSA** 後端。它鏡像了標準 PyTorch API，因此您只需將 `cuda` 替換為 `musa`。該套件包含建構 C/C++ 擴充的工具、透過 **mccl** 後端進行分散式訓練的功能，以及用於快速設定的 Docker 鏡像。它還提供 torchvision、torchaudio 以及一系列其他熱門 PyTorch 套件的 MUSA 相容建構版本。可透過預建構的 wheel 安裝，或在安裝 MUSA SDK 後從原始碼建構。此專案採用 BSD 許可證。