lemonade-sdk/llamacpp-rocm

Fresh builds of llama.cpp with AMD ROCm™ 7 acceleration

解決的問題

提供針對 AMD GPU 使用 ROCm™ 7 優化之預先編譯的 llama.cpp 夜間建構版本。使用者無需手動編譯軟體或額外安裝 ROCm SDK，執行時函式庫已內建於其中。

運作方式

本專案使用自動化的 GitHub Actions 流水線，以 ROCm SDK（TheRock）與 HIP API 編譯 llama.cpp。支援從 RDNA2 到 RDNA4 以及 CDNA1/2 的多種 AMD GPU 架構，並產生適用於 Windows 與 Ubuntu 的二進位檔。

適用對象

擁有 AMD GPU（包含 Radeon dGPU、Ryzen AI APU 與 Instinct 加速器）並希望在無需複雜手動設定的情況下，以高效率 GPU 加速執行 GGUF 模型的使用者。

亮點

  • 內建 ROCm™ 7：執行二進位檔時無需額外安裝 SDK。
  • 廣泛支援 AMD 架構：支援 gfx1151、gfx1150、gfx120X、gfx110X、gfx103X、gfx90a 與 gfx908 等多種架構。
  • 跨平台支援：提供 Windows 與 Ubuntu 的夜間建構版本。
  • 自動化流程：確保使用者能隨時取得最新、最尖端的推理引擎建構版本。

相關

  • 專案
    charlie12345/ROCmFPX

    llama.cpp 的擴充功能，引入針對 Radeon GPU 優化的 AMD 專用 GGUF 量化格式與加速內核，以提升 LLM 推論速度與記憶體效率。

  • Dispatch
    llama.cpp 與 llama.app：本地 LLM 推論與生態系統

    llama.cpp 與其官方主頁 llama.app 提供高效能、與硬體無關的本地 LLM 推論，現在新增了簡化的 'llama serve' 指令並與 Pi 等本地編碼代理程式整合。

  • 專案
    SciSharp/LLamaSharp

    基於 llama.cpp 的跨平台 C# 庫，讓開發者能透過高階 API 在 CPU 和 GPU 上本地執行 LLaMA 及其他 LLM。

  • 專案
    go-skynet/go-llama.cpp

    為 llama.cpp 提供的 Go 綁定，支援使用 GGUF 格式在 Go 應用中實現高效能本地 LLM 推論。

  • 專案
    abetlen/llama-cpp-python

    用於 llama.cpp 的 Python 綁定，支援 OpenAI 相容的 API 與多種硬體加速後端，實現本地 LLM 推論。