meta-pytorch/torchx

TorchX is a universal job launcher for PyTorch applications. TorchX is designed to have fast iteration time for training/research and support for E2E production ML pipelines when you're ready.

해결하는 문제

TorchX는 다양한 컴퓨팅 환경에서 PyTorch 애플리케이션을 시작하고 관리하는 과정을 단순화합니다. 각각의 스케줄러에 맞는 환경별 구성 파일을 작성할 필요 없이, 연구자와 엔지니어는 코드를 변경하지 않고도 로컬 개발에서 대규모 프로덕션 파이프라인으로 전환할 수 있습니다.

작동 방식

TorchX는 유니버설 작업 런처로 작동합니다. Kubernetes(EKS, GKE, AKS), Slurm, Docker, 로컬 머신 등 다양한 스케줄러와 인프라 제공업체에 대해 일관된 인터페이스를 제공하여 작업을 제출할 수 있습니다.

대상 사용자

연구 단계에서 빠르게 반복하고, 이후 프로덕션 ML 파이프라인으로 작업 부하를 확장해야 하는 PyTorch 사용자를 위한 것입니다.

주요 특징

  • PyTorch 애플리케이션용 유니버설 작업 런처.
  • Kubernetes, Slurm, Docker 등 여러 스케줄러 지원.
  • 학습 및 연구를 위한 빠른 반복 시간.
  • 엔드투엔드 프로덕션 ML 파이프라인 지원.

관련

  • 프로젝트
    meta-pytorch/torchcomms

    An experimental communications API for PyTorch that provides a high-level collectives interface and support for multiple hardware backends like NCCL, RCCL, and XCCL.

  • 프로젝트
    datawhalechina/torch-rechub

    Torch-RecHub는 30개 이상의 모델, 모듈식 설계, ONNX 내보내기, 여러 하드웨어 백엔드를 지원하는 PyTorch 프레임워크입니다.

  • 프로젝트
    duoan/TorchCode

    ML 엔지니어 인터뷰 대비를 위해 PyTorch 연산자와 아키텍처를 처음부터 직접 구현해 연습할 수 있는 인터랙티브 코딩 플랫폼입니다.

  • 프로젝트
    alibaba/TorchEasyRec

    PyTorch 기반의 추천 시스템 프레임워크로, 최신 모델과 확장 가능한 인프라를 제공하여 프로덕션 환경에 적합한 딥러닝 추천을 지원합니다.

  • 프로젝트
    MooreThreads/torch_musa

    torch_musa는 Moore Threads GPU용 **MUSA** 백엔드를 추가하는 PyTorch 확장입니다. 표준 PyTorch API를 모방하여 `cuda`를 `musa`로만 바꾸면 됩니다. C/C++ 확장 빌드 도구, **mccl** 백엔드를 통한 분산 학습, 그리고 설치가 쉬운 Docker 이미지를 포함합니다. 또한 torchvision, torchaudio 및 기타 인기 PyTorch 라이브러리의 MUSA 호환 빌드도 제공합니다. 미리 빌드된 wheel에서 설치하거나 MUSA SDK를 설치한 후 소스에서 빌드할 수 있습니다. 프로젝트는 BSD 라이선스입니다.