lemonade-sdk/llamacpp-rocm

Fresh builds of llama.cpp with AMD ROCm™ 7 acceleration

解决的问题

提供针对 AMD GPU 使用 ROCm™ 7 优化的预编译 llama.cpp 夜间构建版本。用户无需手动编译软件或单独安装 ROCm SDK，运行时库已内置其中。

工作原理

该项目使用自动化的 GitHub Actions 流水线，基于 ROCm SDK（TheRock）和 HIP API 编译 llama.cpp。支持从 RDNA2 到 RDNA4 以及 CDNA1/2 的多种 AMD GPU 架构，生成适用于 Windows 和 Ubuntu 的二进制文件。

适用人群

拥有 AMD GPU（包括 Radeon dGPU、Ryzen AI APU 和 Instinct 加速器）并希望无需复杂手动设置即可以高性能 GPU 加速运行 GGUF 模型的用户。

亮点

  • 内置 ROCm™ 7：运行二进制文件无需额外安装 SDK。
  • 广泛支持 AMD 架构：支持 gfx1151、gfx1150、gfx120X、gfx110X、gfx103X、gfx90a 和 gfx908 等多种架构。
  • 跨平台支持：提供 Windows 和 Ubuntu 的夜间构建版本。
  • 自动化流水线：确保用户始终能获取最新、最前沿的推理引擎构建版本。

相关

  • 项目
    charlie12345/ROCmFPX

    llama.cpp 的一个扩展，引入了针对 Radeon GPU 优化的 AMD 专用 GGUF 量化格式和加速内核，以提升 LLM 推理速度和内存效率。

  • Dispatch
    llama.cpp 和 llama.app：本地 LLM 推理与生态系统

    llama.cpp 及其官方主页 llama.app 提供高性能、与硬件无关的本地 LLM 推理，现在新增了简化的 'llama serve' 命令并集成了 Pi 等本地编码代理。

  • 项目
    SciSharp/LLamaSharp

    基于 llama.cpp 的跨平台 C# 库，允许开发者通过高级 API 在 CPU 和 GPU 上本地运行 LLaMA 及其他 LLM。

  • 项目
    go-skynet/go-llama.cpp

    为 llama.cpp 提供的 Go 绑定，支持使用 GGUF 格式在 Go 应用中实现高性能本地 LLM 推理。

  • 项目
    abetlen/llama-cpp-python

    用于 llama.cpp 的 Python 绑定，支持 OpenAI 兼容的 API 和多种硬件加速后端，实现本地 LLM 推理。