amd/RyzenAI-SW

解決的問題

提供在 AMD Ryzen AI 搭載 PC 上優化與部署 AI 推論所需的工具與執行時期函式庫，讓開發者能充分利用硬體加速來執行 AI 應用程式。

工作原理

此軟體作為 AI 模型與 Ryzen AI 硬體之間的橋樑，提供一組執行時期函式庫與工具，以實現各種模型的高效執行。支援與 ONNX Runtime 及 Windows ML 整合，並提供針對不同模型類型（包括 CNN、Transformer 及 LLM）的專用範例。

適用對象

專為 AMD Ryzen AI 驅動硬體開發 AI 應用程式的開發者，希望最大化效能與效率。

主要特色

• 使用 ONNX Runtime GenAI API 支援大型語言模型（LLM），包含 RAG 與視覺語言模型（VLM）。
• 支援影像分類、物件偵測（YOLOv8）與超解析度。
• 與 Windows ML 整合，用於執行 Transformer 與 LLM。
• 使用 OpenAI Whisper 與 NVIDIA Parakeet TDT 支援自動語音辨識（ASR）。
• 透過 AMD Quark 提供模型量化工具。