MooreThreads/torch_musa

torch_musa is an open source repository based on PyTorch, which can make full use of the super computing power of MooreThreads graphics cards.

何を解決するか

PyTorchユーザーがMoore Threadsグラフィックスカード上で機械学習ワークロードを実行できるようにします。異なるハードウェア用にコードを再書き込みする必要をなくし、PyTorch APIを模倣するバックエンドを提供することで、CUDAまたはCPUからMUSAに切り替える際の変更を最小限に抑えます。

動作方法

torch_musaはPyTorchの拡張です。デバイス文字列をcudaまたはcpuからmusaに変更することで、Moore Threadsハードウェアを活用できます。MUSA-SDK（muDNNやMCCL（分散学習用）を含む）と統合され、カスタムの高性能レイヤーを記述するためのC/C++拡張APIを提供し、余分なコードを最小限に抑えます。

対象ユーザー

PyTorchを使用し、モデルをMoore Threads GPUに移行したいAI開発者および研究者。

主な特徴

  • APIの一貫性：PyTorchと同じフォーマットを使用するため、標準ライブラリに慣れているユーザーにとって移行がスムーズです。
  • ハードウェアアクセラレーション：musaバックエンドを通じてMoore Threads GPUの性能を活用できます。
  • C/C++拡張：膨大なラッパーコードを必要とせずに、カスタムレイヤーを効率的に記述できるAPIを提供します。
  • 分散対応：mcclバックエンドを使用して分散学習および推論をサポートします。
  • 最適化ツール：動的ダブルキャストやユニファイドメモリ管理などの高度な機能を提供します。

関連

  • プロジェクト
    aiqm/torchani

    TorchANI 2.0は、PyTorchベースのライブラリであり、GPU加速されたエネルギー/力予測、分子動力学およびML/MMシミュレーションのためのツールを提供し、ANIスタイルのニューラルネットワーク原子間ポテンシャルの訓練と使用を可能にします。

  • プロジェクト
    ankane/torch.rb

    LibTorch の Ruby インターフェースで、PyTorch API をミラーリングし、Ruby で直接ディープラーニングとニューラルネットワーク開発を可能にします。

  • プロジェクト
    facebookresearch/multimodal

    CLIPやBLIP-2などのモデル向けに、モジュール式の構成要素と学習済み重みを提供し、最先端のマルチモーダルモデルを大規模にトレーニングするためのPyTorchライブラリ。

  • プロジェクト
    iot-salzburg/gpu-jupyter

    GPU‑Jupyterは、Python、PyTorch、TensorFlow、Julia、Rが事前にインストールされたDockerベースのGPU対応JupyterLab環境です。バージョン管理されたイメージ、カスタマイズのしやすさ、Docker‑Compose対応を備え、NVIDIA GPUを搭載した任意のマシンで再現可能なディープラーニング実験を可能にします。

  • プロジェクト
    pytorch/benchmark

    PyTorch Benchmarks は、BERT、ResNet、Stable Diffusionなど人気のあるディープラーニングモデルの標準化・軽量版のコレクションであり、異なるPyTorchビルド、CUDAバージョン、バックエンドのパフォーマンスを測定するために実行できます。均一なAPI、インストールスクリプト、複数のランナー（シンプルテスト、pytest-benchmark、カスタムユーザーベンチマーク）に加え、AWS g4dn.metalインスタンスでの低ノイズチューニング用のユーティリティも提供しています。