Xilinx/XRT
Run Time for AIE and FPGA based platforms
何を解決するか
XRTは、AMDのNPUおよびFPGAを管理・操作するための標準化された抽象化されたソフトウェアインターフェースを提供します。これにより、開発者は異なるハードウェアプラットフォーム用にデバイス固有のコードを書く必要がなくなり、AlveoカードやVersal Adaptive SoCsなど、さまざまなAMDアクセラレータハードウェア上でソフトウェアを実行できるようになります。
動作方法
ユーザー空間コンポーネントとカーネルドライバーの組み合わせとして動作します。Linuxでは accelドライバー・モデルを、Windowsでは MCDMドライバー・モデルを使用します。x86_64およびaarch64 CPUアーキテクチャをサポートし、デバイスの設定および検証用のコマンドラインツール xrt-smi を含んでいます。
対象ユーザー
AMDハードウェアアクセラレータを使用する開発者、特にNPUおよびFPGAにワークロードをデプロイする開発者。
特徴
- Ryzen、Versal、Alveo、Zynq UltraScale+ MPSoCなど、幅広いAMDハードウェアをサポート。
- LinuxおよびWindowsでのクロスプラットフォーム互換性。
- デバイス管理および検証用に
xrt-smi を搭載。
- アクセラレータハードウェアへのシームレスなアクセスを可能にする統一APIを提供。
関連
- プロジェクト
amd/xdna-driverAMD RyzenAI プロセッサー向けの AMD XDNA (NPU) デバイスで AI 推論の加速を可能にする Linux カーネルドライバーと XRT SHIM ライブラリ。
- プロジェクト
pykeio/ortONNX機械学習モデルのハードウェアアクセラレーションによる推論と学習のためのRustインターフェース。多様なハードウェア上での効率的なデプロイを実現します。
- プロジェクト
google-ai-edge/LiteRTLiteRTは、スマートフォン、ノートPC、ブラウザ、IoTデバイス全体でMLおよび生成AIモデルを実行するための、Googleの高性能なオンデバイスランタイムです。TensorFlow Liteの後継であり、最適なアクセラレータ（CPU、GPU、NPU、WebGPU）を自動的に選択する統合Compiled Model APIを提供します。エコシステムには、PyTorch用コンバーター、コーディングエージェントワークフロー用のCLI、Web向けのLiteRT.js、オンデバイスLLM推論用ライブラリが含まれます。Android、iOS、Linux、macOS、Windows、Web、Raspberry Piなど幅広いプラットフォームをサポートし、広範なハードウェアアクセラレーションに対応しています。
- プロジェクト
vllm-project/vllm-ascendvLLM Ascend は、vLLM LLM サービングエンジンを Huawei Ascend NPU 上で実行できるようにするハードウェアプラグインです。Atlas NPU ハードウェアの範囲をサポートし、Linux、Python 3.10‑3.12、CANN 9.1.0、PyTorch 2.10.0 + TorchNPU を必要とし、特定の vLLM バージョンに対応します。このプロジェクトは、定期的なリリース、詳細なドキュメント、活発なコミュニティ（Slack、フォーラム、毎週のミーティング）を提供します。ライセンスは Apache 2.0 です。
- プロジェクト
intel/compute-runtimeIntel グラフィックスハードウェアアーキテクチャ向けに oneAPI Level Zero および OpenCL コンピュートサポートを可能にするオープンソースドライバープロジェクト。