ROCm/AMDMIGraphX

解决的问题

AMDMIGraphX 是一个旨在加速 AMD 硬件上机器学习模型执行的图推理引擎。它通过优化已训练模型的运行（推理）过程，确保更高的性能和效率。

工作原理

它作为一个利用 ROCm 生态系统的推理引擎运行。它支持读取 ONNX 文件（通过 Protobuf），并提供 C/C++ 和 Python API 用于集成。该引擎利用包括 MIOpen、rocBLAS 和 HIP 在内的多个底层 AMD 库在 GPU 上执行操作。

适用对象

该工具主要面向需要为 AMD GPU 高性能推理部署和优化 ML 模型的开发人员和机器学习工程师。

亮点

• 基于图的加速：专门为加速 ML 模型推理而设计。
• 广泛的集成：可与 ROCm 软件栈协同工作。
• 灵活的 API：为应用程序开发提供 Python 绑定和 C/C++ API。
• 多种构建选项：支持通过二进制文件、CMake 或 Docker 容器进行安装。