MooreThreads/torch_musa

torch_musa is an open source repository based on PyTorch, which can make full use of the super computing power of MooreThreads graphics cards.

해결하는 문제

PyTorch 사용자가 Moore Threads 그래픽 카드에서 기계학습 워크로드를 실행할 수 있도록 합니다. CUDA 또는 CPU에서 MUSA로 전환할 때 코드를 재작성할 필요 없이, PyTorch API를 모방하는 백엔드를 제공함으로써 하드웨어에 따라 코드를 다시 작성할 필요 없이 최소한의 변경만으로 전환할 수 있습니다.

작동 방식

torch_musa는 PyTorch의 확장입니다. 장치 문자열을 cuda 또는 cpu에서 musa로 변경함으로써 Moore Threads 하드웨어를 활용할 수 있습니다. MUSA-SDK(예: muDNN 및 MCCL(분산 학습용))과 통합되며, 최소한의 부가 코드로 고성능 커스텀 레이어를 작성할 수 있는 C/C++ 확장 API를 제공합니다.

대상 사용자

PyTorch를 사용하고 있으며 모델을 Moore Threads GPU로 마이그레이션하고자 하는 AI 개발자 및 연구자입니다.

주요 특징

  • API 일관성: PyTorch와 동일한 형식을 사용하여, 표준 라이브러리에 익숙한 사용자에게 이식이 원활합니다.
  • 하드웨어 가속: musa 백엔드를 통해 Moore Threads GPU의 성능에 접근할 수 있습니다.
  • C/C++ 확장: 광범위한 래퍼 코드 없이도 커스텀 레이어를 효율적으로 작성할 수 있는 API를 제공합니다.
  • 분산 지원: mccl 백엔드를 사용하여 분산 학습 및 추론을 지원합니다.
  • 최적화 도구: 동적 더블 캐스팅 및 유니파이드 메모리 관리와 같은 고급 기능을 제공합니다.

관련

  • 프로젝트
    aiqm/torchani

    TorchANI 2.0은 PyTorch 라이브러리로, GPU 가속 에너지/힘 예측, 분자 동역학 및 ML/MM 시뮬레이션을 위한 도구를 제공하며 ANI 스타일의 뉴럴 네트워크 원자 간 포텐셜의 훈련과 사용을 지원합니다.

  • 프로젝트
    ankane/torch.rb

    LibTorch용 Ruby 인터페이스로, PyTorch API를 미러링하여 Ruby에서 직접 딥러닝과 신경망 개발을 가능하게 합니다.

  • 프로젝트
    facebookresearch/multimodal

    CLIP 및 BLIP-2와 같은 모델을 위한 모듈식 구성 요소와 사전 학습된 가중치를 제공하여 최첨단 멀티모달 모델을 대규모로 학습할 수 있는 PyTorch 라이브러리입니다.

  • 프로젝트
    iot-salzburg/gpu-jupyter

    GPU‑Jupyter는 Python, PyTorch, TensorFlow, Julia, R이 사전 설치된 Docker 기반 GPU 지원 JupyterLab 환경입니다. 버전 관리 이미지, 간편한 사용자 정의, Docker‑Compose 지원을 통해 NVIDIA GPU를 탑재한 어떤 머신에서도 재현 가능한 딥러닝 실험을 가능하게 합니다.

  • 프로젝트
    pytorch/benchmark

    PyTorch Benchmarks 는 BERT, ResNet, Stable Diffusion 등 인기 있는 딥러닝 모델의 표준화되고 가벼운 버전 모음으로, 다양한 PyTorch 빌드, CUDA 버전, 백엔드의 성능을 측정하기 위해 실행할 수 있습니다. 일관된 API, 설치 스크립트, 여러 러너(간단한 테스트, pytest-benchmark, 사용자 정의 사용자 벤치마크)와 함께 AWS g4dn.metal 인스턴스에서 낮은 노이즈 튜닝을 위한 유틸리티도 제공합니다.