meta-pytorch/torchx

TorchX is a universal job launcher for PyTorch applications. TorchX is designed to have fast iteration time for training/research and support for E2E production ML pipelines when you're ready.

解决的问题

TorchX 简化了在不同计算环境中启动和管理 PyTorch 应用程序的过程。它消除了为每个不同调度器编写环境特定配置文件的需要，使研究人员和工程师能够在不更改代码的情况下，从本地开发无缝过渡到大规模生产流水线。

工作原理

TorchX 作为一个通用作业启动器。它提供统一接口，用于向各种调度器和基础设施提供商提交作业，包括 Kubernetes（EKS、GKE、AKS）、Slurm、Docker 和本地机器。

适用人群

专为需要在研究阶段快速迭代，并随后将其工作负载扩展到生产 ML 流水线的 PyTorch 用户设计。

主要亮点

  • PyTorch 应用程序的通用作业启动器。
  • 支持 Kubernetes、Slurm 和 Docker 等多种调度器。
  • 支持训练和研究的快速迭代。
  • 支持端到端的生产 ML 流水线。

相关

  • 项目
    meta-pytorch/torchcomms

    An experimental communications API for PyTorch that provides a high-level collectives interface and support for multiple hardware backends like NCCL, RCCL, and XCCL.

  • 项目
    datawhalechina/torch-rechub

    Torch-RecHub 是一个支持 30 多种模型、模块化设计、ONNX 导出以及多种硬件后端的 PyTorch 框架。

  • 项目
    duoan/TorchCode

    一个用于练习从零开始实现 PyTorch 操作符和架构的交互式编码平台，帮助准备 ML 工程师面试。

  • 项目
    alibaba/TorchEasyRec

    一个基于 PyTorch 的推荐系统框架，提供预先实现的最先进模型与可扩展基础设施，适用于生产环境的深度学习推荐。

  • 项目
    MooreThreads/torch_musa

    torch_musa 是一个 PyTorch 扩展，为 Moore Threads GPU 添加了 **MUSA** 后端。它镜像了标准 PyTorch API，因此您只需将 `cuda` 替换为 `musa`。该包包含构建 C/C++ 扩展的工具、通过 **mccl** 后端进行分布式训练的功能，以及用于快速设置的 Docker 镜像。它还提供 torchvision、torchaudio 以及一系列其他热门 PyTorch 库的 MUSA 兼容构建版本。可通过预构建的 wheel 安装，或在安装 MUSA SDK 后从源码构建。该项目采用 BSD 许可证。