Xilinx/XRT
Run Time for AIE and FPGA based platforms
해결하는 문제
XRT는 AMD NPU 및 FPGA를 관리하고 상호작용할 수 있는 표준화되고 추상화된 소프트웨어 인터페이스를 제공합니다. 이로 인해 개발자는 다양한 하드웨어 플랫폼용으로 장치별 코드를 작성할 필요가 없으며, Alveo 카드 및 Versal 적응형 SoC과 같은 다양한 AMD 가속기 하드웨어에서 소프트웨어를 실행할 수 있습니다.
작동 방식
사용자 공간 구성 요소와 커널 드라이버의 조합으로 작동합니다. Linux에서는 accel 드라이버 모델을, Windows에서는 MCDM 드라이버 모델을 사용합니다. x86_64 및 aarch64 CPU 아키텍처를 지원하며, 장치 구성 및 검증을 위한 명령줄 도구 xrt-smi를 포함합니다.
대상 사용자
AMD 하드웨어 가속기와 함께 작업하는 개발자, 특히 NPU 및 FPGA에 워크로드를 배포하는 개발자입니다.
주요 특징
- Ryzen, Versal, Alveo, Zynq UltraScale+ MPSoC 등 다양한 AMD 하드웨어를 지원합니다.
- Linux 및 Windows에서의 크로스플랫폼 호환성.
- 장치 관리 및 검증을 위한
xrt-smi 포함.
- 가속기 하드웨어에 대한 원활한 접근을 위한 통합 API 제공.
관련
- 프로젝트
amd/xdna-driverAMD RyzenAI 프로세서용 AMD XDNA(NPU) 장치에서 AI 추론 가속을 가능하게 하는 Linux 커널 드라이버 및 XRT SHIM 라이브러리.
- 프로젝트
pykeio/ortONNX 머신러닝 모델의 하드웨어 가속 추론 및 학습을 위한 Rust 인터페이스로, 다양한 하드웨어에서 효율적인 배포를 지원합니다.
- 프로젝트
google-ai-edge/LiteRTLiteRT는 휴대폰, 노트북, 브라우저 및 IoT 기기 전반에서 ML 및 생성형 AI 모델을 실행하기 위한 Google의 고성능 온디바이스 런타임입니다. TensorFlow Lite를 대체하며, 최적의 가속기(CPU, GPU, NPU, WebGPU)를 자동으로 선택하는 통합 Compiled Model API를 제공합니다. 생태계에는 PyTorch용 변환기, 코딩 에이전트 워크플로우를 위한 CLI, 웹 중심의 LiteRT.js, 온디바이스 LLM 추론용 라이브러리가 포함됩니다. Android, iOS, Linux, macOS, Windows, Web 및 Raspberry Pi를 포함한 다양한 플랫폼을 지원하며 광범위한 하드웨어 가속을 지원합니다.
- 프로젝트
vllm-project/vllm-ascendvLLM Ascend는 vLLM LLM 서빙 엔진이 Huawei Ascend NPU에서 실행될 수 있게 하는 하드웨어 플러그인입니다. 다양한 Atlas NPU 하드웨어를 지원하며, Linux, Python 3.10‑3.12, CANN 9.1.0, PyTorch 2.10.0 + TorchNPU가 필요하고 특정 vLLM 버전과 일치합니다. 이 프로젝트는 정기적인 릴리스, 상세한 문서, 활발한 커뮤니티(Slack, 포럼, 주간 회의)를 제공합니다. Apache 2.0 라이선스입니다.
- 프로젝트
intel/compute-runtimeIntel 그래픽 하드웨어 아키텍처를 위한 oneAPI Level Zero 및 OpenCL 컴퓨팅 지원을 가능하게 하는 오픈 소스 드라이버 프로젝트입니다.