Xilinx/XRT

Run Time for AIE and FPGA based platforms

解决的问题

XRT 提供了一种标准化的、抽象化的软件接口，用于管理和交互 AMD NPU 和 FPGA。这消除了开发者为不同硬件平台编写设备特定代码的需求，使软件能够在各种 AMD 加速硬件（如 Alveo 卡和 Versal 自适应 SoC）上运行。

工作原理

它作为用户空间组件和内核驱动程序的组合运行。在 Linux 上，它使用 accel 驱动模型；在 Windows 上，它使用 MCDM 驱动模型。它支持 x86_64 和 aarch64 CPU 架构，并包含一个名为 xrt-smi 的命令行工具，用于设备配置和验证。

适用人群

使用 AMD 硬件加速器的开发者，特别是那些将工作负载部署到 NPU 和 FPGA 的开发者。

主要亮点

  • 支持广泛的 AMD 硬件，包括 Ryzen、Versal、Alveo 和 Zynq UltraScale+ MPSoC。
  • 支持 Linux 和 Windows 的跨平台兼容性。
  • 包含 xrt-smi 用于设备管理和验证。
  • 提供统一的 API，实现对加速硬件的无缝访问。

相关

  • 项目
    amd/xdna-driver

    一个 Linux 内核驱动程序和 XRT SHIM 库，用于在 AMD RyzenAI 处理器的 AMD XDNA (NPU) 设备上实现 AI 推理加速。

  • 项目
    pykeio/ort

    一个用于 ONNX 机器学习模型硬件加速推理与训练的 Rust 接口，实现跨多种硬件的高效部署。

  • 项目
    google-ai-edge/LiteRT

    LiteRT 是 Google 的高性能端侧运行时，用于在手机、笔记本电脑、浏览器和 IoT 设备上运行机器学习和生成式 AI 模型。它取代了 TensorFlow Lite，并提供统一的 Compiled Model API，可自动选择最佳加速器（CPU、GPU、NPU、WebGPU）。其生态系统包括 PyTorch 转换器、用于编码代理工作流的 CLI、专注于 Web 的 LiteRT.js，以及用于端侧 LLM 推理的库。支持的平台涵盖 Android、iOS、Linux、macOS、Windows、Web 和 Raspberry Pi，并提供广泛的硬件加速支持。

  • 项目
    vllm-project/vllm-ascend

    vLLM Ascend 是一个硬件插件，让 vLLM LLM 服务引擎能在华为昇腾 NPU 上运行。它支持一系列 Atlas NPU 硬件，需要 Linux、Python 3.10‑3.12、CANN 9.1.0、PyTorch 2.10.0 + TorchNPU，并对应特定 vLLM 版本。该项目提供定期发布、详细文档及活跃社区（Slack、论坛、每周会议）。授权为 Apache 2.0。

  • 项目
    intel/compute-runtime

    一个开源驱动程序项目，为 Intel 图形硬件架构提供 oneAPI Level Zero 和 OpenCL 计算支持。