amd/RyzenAI-SW

解决的问题

提供在 AMD Ryzen AI 基础 PC 上优化和部署 AI 推理所需的工具和运行时库，使开发者能够利用硬件加速来运行 AI 应用程序。

工作原理

该软件充当 AI 模型与 Ryzen AI 硬件之间的桥梁，提供一组运行时库和工具，以实现各种模型的高效执行。支持与 ONNX Runtime 和 Windows ML 集成，并提供针对不同模型类型（包括 CNN、Transformer 和 LLM）的专用示例。

适用人群

专门为 AMD Ryzen AI 驱动硬件开发 AI 应用程序，并希望最大化性能和效率的开发者。

主要亮点

• 使用 ONNX Runtime GenAI API 支持大语言模型（LLM），包括 RAG 和视觉语言模型（VLM）。
• 支持图像分类、目标检测（YOLOv8）和超分辨率。
• 与 Windows ML 集成，用于运行 Transformer 和 LLM。
• 使用 OpenAI Whisper 和 NVIDIA Parakeet TDT 支持自动语音识别（ASR）。
• 通过 AMD Quark 提供模型量化工具。