ROCm/AMDMIGraphX

해결하는 문제

AMDMIGraphX는 AMD 하드웨어에서 머신러닝 모델의 실행을 가속화하도록 설계된 그래프 추론 엔진입니다. 학습된 모델을 실행(추론)하는 프로세스를 최적화하여 더 높은 성능과 효율성을 보장합니다.

작동 방식

ROCm 생태계를 활용하는 추론 엔진으로 작동합니다. ONNX 파일 읽기(Protobuf를 통해)를 지원하며, 통합을 위해 C/C++ 및 Python API를 모두 제공합니다. 이 엔진은 GPU에서 연산을 실행하기 위해 MIOpen, rocBLAS, HIP를 포함한 여러 저수준 AMD 라이브러리를 사용합니다.

대상 사용자

이 도구는 주로 AMD GPU에서 고성능 추론을 위해 ML 모델을 배포하고 최적화해야 하는 개발자 및 머신러닝 엔지니어를 위한 것입니다.

주요 특징

• 그래프 기반 가속: ML 모델 추론 속도를 높이기 위해 특별히 설계되었습니다.
• 폭넓은 통합: ROCm 소프트웨어 스택과 함께 작동합니다.
• 유연한 API: 애플리케이션 개발을 위해 Python 바인딩과 C/C++ API를 모두 제공합니다.
• 다양한 빌드 옵션: 바이너리, CMake 또는 Docker 컨테이너를 통한 설치를 지원합니다.