ROCm/AMDMIGraphX
AMD's graph optimization engine.
해결하는 문제
AMDMIGraphX는 AMD 하드웨어에서 머신러닝 모델의 실행을 가속화하도록 설계된 그래프 추론 엔진입니다. 학습된 모델을 실행(추론)하는 프로세스를 최적화하여 더 높은 성능과 효율성을 보장합니다.
작동 방식
ROCm 생태계를 활용하는 추론 엔진으로 작동합니다. ONNX 파일 읽기(Protobuf를 통해)를 지원하며, 통합을 위해 C/C++ 및 Python API를 모두 제공합니다. 이 엔진은 GPU에서 연산을 실행하기 위해 MIOpen, rocBLAS, HIP를 포함한 여러 저수준 AMD 라이브러리를 사용합니다.
대상 사용자
이 도구는 주로 AMD GPU에서 고성능 추론을 위해 ML 모델을 배포하고 최적화해야 하는 개발자 및 머신러닝 엔지니어를 위한 것입니다.
주요 특징
- 그래프 기반 가속: ML 모델 추론 속도를 높이기 위해 특별히 설계되었습니다.
- 폭넓은 통합: ROCm 소프트웨어 스택과 함께 작동합니다.
- 유연한 API: 애플리케이션 개발을 위해 Python 바인딩과 C/C++ API를 모두 제공합니다.
- 다양한 빌드 옵션: 바이너리, CMake 또는 Docker 컨테이너를 통한 설치를 지원합니다.
관련
- 프로젝트
- 프로젝트
rapidsai/cugraphcuGraph는 GPU 가속 그래프 알고리즘을 Python(NetworkX 스타일) 및 저수준 C/C++ API로 제공하는 오픈 소스 RAPIDS 라이브러리로, GPU에서 빠르고 종단 간 그래프 분석을 가능하게 합니다.
- 프로젝트
InfiniTensor/InfiniTensorInfiniTensor는 ONNX 그래프를 가져오고 일반 그래프 재작성을 적용하며 CPU 또는 사용자 정의 가속기 백엔드(InfiniOps/InfiniRT)에서 실행하는 오픈 소스 C++ 런타임입니다. Python 바인딩, 테스트 스위트, 하드웨어 벤더가 자체 커널을 플러그인할 수 있는 모듈식 설계를 제공합니다.
- 프로젝트
amd/RyzenAI-SWAMD Ryzen AI 기반 PC에서 AI 추론의 최적화 및 배포를 최대한 높이기 위한 도구 및 런타임 라이브러리 세트.
- 프로젝트
inisis/OnnxSlimOnnxSlim은 불필요한 연산자를 제거하여 ONNX 모델을 단순화하고, 정확도를 유지하면서 추론 속도를 높이는 Python 패키지입니다. `pip install onnxslim`으로 설치한 후 `onnxslim input.onnx output.onnx`를 실행하거나 `onnxslim.slim()` API를 사용합니다. 많은 AI 도구 체인(TensorRT‑Model‑Optimizer, HuggingFace optimum, Ultralytics 등)에 통합되어 있으며 수백만 건의 다운로드를 달성했습니다.