lemonade-sdk/llamacpp-rocm

해결하는 문제

ROCm™ 7를 사용하여 AMD GPU에 최적화된 사전 컴파일된 llama.cpp의 나이트리 빌드를 제공합니다. 사용자가 소프트웨어를 수동으로 컴파일하거나 ROCm SDK를 별도로 설치할 필요가 없으며, 런타임 라이브러리는 이미 내장되어 있습니다.

작동 방식

이 프로젝트는 자동화된 GitHub Actions 파이프라인을 사용하여 ROCm SDK(TheRock) 및 HIP API를 기반으로 llama.cpp를 컴파일합니다. RDNA2부터 RDNA4, CDNA1/2에 이르는 다양한 AMD GPU 아키텍처를 대상으로 하며, Windows 및 Ubuntu용 바이너리를 생성합니다.

대상 사용자

Radeon dGPU, Ryzen AI APU, Instinct 가속기 등을 포함한 AMD GPU를 보유하고 있으며, 수동 설정의 복잡함 없이 GGUF 모델을 고성능 GPU 가속으로 실행하고자 하는 사용자.

주요 특징

• 내장된 ROCm™ 7: 바이너리 실행 시 별도의 SDK 설치가 필요하지 않습니다.
• 광범위한 AMD 지원: gfx1151, gfx1150, gfx120X, gfx110X, gfx103X, gfx90a, gfx908 등 다양한 아키텍처를 지원합니다.
• 크로스 플랫폼: Windows 및 Ubuntu용 나이트리 빌드를 제공합니다.
• 자동화된 파이프라인: 사용자가 최신 최첨단 추론 엔진 빌드에 항상 접근할 수 있도록 보장합니다.