lemonade-sdk/llamacpp-rocm

何を解決するか

ROCm™ 7 を使用して AMD GPU 向けに最適化された、事前にコンパイルされた llama.cpp のナイトリービルドを提供します。ユーザーが手動でソフトウェアをコンパイルする必要も、ROCm SDK を別途インストールする必要もありません。実行時ライブラリはすべて組み込み済みです。

動作方法

このプロジェクトは、自動化された GitHub Actions パイプラインを使用して、ROCm SDK（TheRock）および HIP API に対して llama.cpp をコンパイルします。RDNA2 から RDNA4、CDNA1/2 に至る幅広い AMD GPU アーキテクチャをターゲットとし、Windows および Ubuntu 向けのバイナリを生成します。

対象ユーザー

Radeon dGPU、Ryzen AI APU、Instinctアクセラレータを含む AMD GPU を搭載し、手動設定の複雑さを避けながら GGUF モデルを高パフォーマンス GPU 加速で実行したいユーザー。

特徴

• 組み込み ROCm™ 7：バイナリを実行するには、別途 SDK をインストールする必要がありません。
• 広範な AMD 対応：gfx1151、gfx1150、gfx120X、gfx110X、gfx103X、gfx90a、gfx908 など、複数のアーキテクチャをサポート。
• クロスプラットフォーム：Windows および Ubuntu 向けのナイトリービルドを提供。
• 自動化パイプライン：最新の先端的な推論エンジンビルドをユーザーに常に提供します。