ROCm/FastFlowLM

Run LLMs on AMD Ryzen™ AI NPUs in minutes; purpose-built and deeply optimized for the AMD NPUs.

解决的问题

FastFlowLM (FLM) 允许用户在 AMD Ryzen™ AI NPU 上直接运行大型语言模型 (LLM) 和视觉语言模型 (VLM)。这消除了对 GPU 或 CPU 进行推理的依赖，从而显著降低功耗并提高效率。

工作原理

FLM 提供轻量级（17 MB）的 NPU 优先运行时和单命令 CLI。它使用优化的二进制内核在 XDNA2 NPU（位于 Ryzen™ AI 系列芯片中）上执行模型。支持多种模型类型，包括视觉、音频、嵌入和混合专家（MoE），可作为 CLI 工具或本地 REST/OpenAI 兼容 API 服务器部署。

适用人群

希望在不依赖 GPU 的情况下，私密且高效地在本地运行 AI 模型的 AMD Ryzen™ AI NPU 拥有者，包括开发者和用户。

主要亮点

  • NPU 原生执行：完全在 AMD Ryzen™ AI NPU 上运行，无需 GPU 或 CPU 负载。
  • 高效率：比传统方法节能超过 10 倍。
  • 广泛模型支持：支持 LLM、VLM 和 MoE 模型，包括视觉和音频功能。
  • 长上下文：支持高达 256k 个标记的上下文窗口。
  • 开发者友好：提供简单 CLI 和 OpenAI 兼容 API 服务器。

相关

  • 项目
    NotPunchnox/rkllama

    专为 Rockchip RK3588/3576 平台优化的 LLM 服务器与客户端，使 AI 模型可在 NPU 上实现加速的本地推理。

  • 项目
    amd/RyzenAI-SW

    一套用于在 AMD Ryzen AI 基础 PC 上优化和部署 AI 推理的工具和运行时库，以最大化硬件加速。

  • 项目
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM 是 NVIDIA 的开源库，可将大型语言模型（以及视觉生成模型）编译成超快的 TensorRT 推理引擎。它提供自定义 CUDA 内核、量化、稀疏注意力、推测解码和多 GPU 并行，在保持准确性的同时，令牌吞吐量提高 2-10 倍。Python 友好的运行时与 Triton、Kubernetes 和 Jetson 集成，并包含 GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1 和扩散模型等模型的文档和示例。

  • 项目
    ztxz16/fastllm

    FastLLM 是一个基于 C++ 的、无需 PyTorch 的大型语言模型推理引擎。它支持稠密和 MoE 模型、混合 GPU/CPU/NUMA/磁盘部署、多 GPU 张量并行、推测解码（MTP/DSpark/DFlash2）、多种量化格式，并提供 Python CLI、Web UI 和 OpenAI 兼容的 API 服务器。通过 `pip install ftllm` 安装，使用 `ftllm run` 运行模型，或使用 `ftllm server` 启动服务。详尽的文档涵盖模型特定指南、性能调优和社区支持。

  • 项目
    joaopauloschuler/neural-api

    一个无需 Python 或 CUDA 的原生 Pascal 深度学习库，可将 LLM、Transformer 及其他 AI 模型作为单个原生二进制文件运行。