ROCm/AMDMIGraphX

AMD's graph optimization engine.

解决的问题

AMDMIGraphX 是一个旨在加速 AMD 硬件上机器学习模型执行的图推理引擎。它通过优化已训练模型的运行（推理）过程，确保更高的性能和效率。

工作原理

它作为一个利用 ROCm 生态系统的推理引擎运行。它支持读取 ONNX 文件（通过 Protobuf），并提供 C/C++ 和 Python API 用于集成。该引擎利用包括 MIOpen、rocBLAS 和 HIP 在内的多个底层 AMD 库在 GPU 上执行操作。

适用对象

该工具主要面向需要为 AMD GPU 高性能推理部署和优化 ML 模型的开发人员和机器学习工程师。

亮点

  • 基于图的加速：专门为加速 ML 模型推理而设计。
  • 广泛的集成：可与 ROCm 软件栈协同工作。
  • 灵活的 API：为应用程序开发提供 Python 绑定和 C/C++ API。
  • 多种构建选项：支持通过二进制文件、CMake 或 Docker 容器进行安装。

相关

  • 项目
    microsoft/onnxruntime

    一个跨平台的机器学习加速器，可优化各种框架（如 PyTorch 和 TensorFlow）模型的推理与训练。

  • 项目
    rapidsai/cugraph

    cuGraph 是一个开源的 RAPIDS 库，提供 GPU 加速的图算法，支持 Python（NetworkX 风格）和底层 C/C++ API，能够在 GPU 上实现快速、端到端的图分析。

  • 项目
    InfiniTensor/InfiniTensor

    InfiniTensor是一个开源C++运行时，导入ONNX图，应用通用图重写，并在CPU或自定义加速器后端（InfiniOps/InfiniRT）上执行。它提供Python绑定、测试套件和模块化设计，使硬件供应商能够插入自己的内核。

  • 项目
    amd/RyzenAI-SW

    一套用于在 AMD Ryzen AI 基础 PC 上优化和部署 AI 推理的工具和运行时库，以最大化硬件加速。

  • 项目
    inisis/OnnxSlim

    OnnxSlim 是一个 Python 包，通过移除不必要的运算符来简化 ONNX 模型，在保持精度的同时加速推理。通过 `pip install onnxslim` 安装，然后运行 `onnxslim input.onnx output.onnx` 或使用其 `onnxslim.slim()` API。它已集成到许多 AI 工具链中（TensorRT‑Model‑Optimizer、HuggingFace optimum、Ultralytics 等），下载量已达数百万。