gufo-org/gufo

Gufo – AMD Strix Halo GPU向けローカル推論エンジン

概要 – Gufoは、AMDのStrix Haloアクセラレータ（Radeon 8060S搭載Ryzen AI MAX+ 395）上で大規模言語モデル、ビジョンモデル、音声モデルを実行するC++ベースの推論サーバーです。OpenAI互換のチャット補完APIを話すため、既存のツール（VS Code、Open WebUI、curlなど）がクラウドサービスと同じように利用できます。

主な機能

• ハードウェア特化の最適化 – カーネルはgfx1151 GPU向けに手調整され、ROCm HIP、hipBLAS/hipBLASLt、その他のAMDライブラリを使用しています。エンジンは128 GiB統合メモリ構成向けに構築されていますが、より小さなカードでも動作します。
• モデルカタログ – 最先端のモデル（Qwen 3.8 27B、Qwen 3.8 Flash-Next、DeepSeek V4 Flash、Qwen 3-ASR、Qwen 3-TTSなど）向けの実行可能なGGUFチェックポイントを提供。ベンチマークと品質レポートはdocs/modelsフォルダにあります。
• 投機的デコード – DFlash2、MTP、DSparkの投機的モードをサポートし、トークン/秒のスループットを大幅に向上させます（例：Qwen 3.8 27Bでプロンプトあたり656 tok/s）。
• マルチモーダル対応 – テキスト、画像、音声（ASR/TTS）、実験的なビデオ/オーディオ生成に対応。
• コンテナ化されたデプロイ – 事前構築済みのOCIイメージ（ghcr.io/gufo-org/toolboxes/gufo-runtime）をPodmanで実行でき、ポート8080でサービスを公開します。
• 同時リクエスト処理 – バッチ処理、キャンセル、会話キャッシュを標準でサポートするよう設計されています。

始め方

1. モデルをダウンロード – READMEに記載されているhf downloadコマンドを使用してHugging Faceからモデルをダウンロードします。
2. ランタイムコンテナをプル – 必要なGPUデバイス（/dev/kfd、/dev/dri）を指定して実行します。
3. サーバーを起動 – ダウンロードしたGGUFファイルと、オプションで投機的モデルファイルを指定してgufo serve llm …を実行します。
4. APIをクエリ – 簡単なcurl POSTでhttp://localhost:8080/v1/chat/completionsにリクエストを送信します。

READMEには、ソースからGufoをビルドする方法（NixまたはクラシックなCMake）、必要なROCmライブラリ、SELinuxやrootレスPodmanの権限の扱い方も説明されています。

対象ユーザー – Strix Haloワークステーションを所有し、クラウドGPUに依存せずに高速でローカルホストされたAIサービスを求める開発者や研究者向けです。これは、llama.cppがCPUに対して行うのと同様に、AMDハードウェア向けの「ローカルOpenAI互換エンドポイント」というニッチを埋めるものです。

ライセンス – コアコードはMITライセンスです。サードパーティコンポーネントはそれぞれのライセンス表記を保持します。モデルの重みは同梱されておらず、元の公開元の条件に従います。