ROCm/AMDMIGraphX
AMD's graph optimization engine.
解決する課題
AMDMIGraphXは、AMDハードウェア上での機械学習モデルの実行を加速させるために設計されたグラフ推論エンジンです。学習済みモデルの実行（推論）プロセスを最適化し、より高いパフォーマンスと効率性を確保します。
仕組み
ROCmエコシステムを活用する推論エンジンとして機能します。ONNXファイルの読み込み（Protobuf経由）をサポートしており、統合のためにC/C++およびPython APIの両方を提供します。このエンジンは、GPU上で演算を実行するために、MIOpen、rocBLAS、HIPを含む複数の低レベルAMDライブラリを利用します。
対象者
このツールは、主にAMD GPU上での高性能な推論のために、MLモデルをデプロイおよび最適化する必要がある開発者や機械学習エンジニアを対象としています。
特徴
- グラフベースの加速: MLモデルの推論を高速化するために特別に設計されています。
- 幅広い統合: ROCmソフトウェアスタックと連携します。
- 柔軟なAPI: アプリケーション開発用にPythonバインディングとC/C++ APIの両方を提供します。
- 複数のビルドオプション: バイナリ、CMake、またはDockerコンテナ経由のインストールをサポートしています。
関連
- プロジェクト
- プロジェクト
rapidsai/cugraphcuGraph 是一个开源的 RAPIDS 库，提供 GPU 加速的图算法，支持 Python（NetworkX 风格）和底层 C/C++ API，能够在 GPU 上实现快速、端到端的图分析。
- プロジェクト
InfiniTensor/InfiniTensorInfiniTensorは、ONNXグラフをインポートし、汎用グラフ書き換えを適用し、CPUまたはカスタムアクセラレータバックエンド（InfiniOps/InfiniRT）で実行するオープンソースのC++ランタイムです。Pythonバインディング、テストスイート、およびハードウェアベンダーが独自のカーネルをプラグインできるモジュール設計を提供します。
- プロジェクト
amd/RyzenAI-SWAMD Ryzen AI搭載PC上でAI推論の最適化とデプロイを最大化するためのツールおよびランタイムライブラリのセット。
- プロジェクト
inisis/OnnxSlimOnnxSlim は、不要な演算子を削除して ONNX モデルを簡素化し、精度を維持しながら推論を高速化する Python パッケージです。`pip install onnxslim` でインストールし、`onnxslim input.onnx output.onnx` を実行するか、`onnxslim.slim()` API を使用します。多くの AI ツールチェーン（TensorRT‑Model‑Optimizer、HuggingFace optimum、Ultralytics など）に統合されており、ダウンロード数は数百万に達しています。