gufo-org/gufo

Gufo – 面向 AMD Strix Halo GPU 的本地推理引擎

它是什么 – Gufo 是一个基于 C++ 的推理服务器，可在 AMD 的 Strix Halo 加速器（Ryzen AI MAX+ 395 搭配 Radeon 8060S）上运行大型语言、视觉和音频模型。它支持 OpenAI 聊天补全 API，因此现有工具（VS Code、Open WebUI、curl 等）可以像使用云服务一样使用它。

主要特性

• 硬件特定优化 – 内核针对 gfx1151 GPU 进行了手工调优，使用 ROCm HIP、hipBLAS/hipBLASLt 和其他 AMD 库。该引擎专为 128 GiB 统一内存配置而构建，但也适用于较小显存的显卡。
• 模型目录 – 为多个最先进的模型（Qwen 3.8 27B、Qwen 3.8 Flash-Next、DeepSeek V4 Flash、Qwen 3-ASR、Qwen 3-TTS 等）提供即用型 GGUF 检查点。基准测试和质量报告位于 docs/models 文件夹中。
• 推测解码 – 支持 DFlash2、MTP 和 DSpark 推测模式，可显著提高每秒 token 吞吐量（例如，Qwen 3.8 27B 每个提示 656 tok/s）。
• 多模态支持 – 文本、图像、音频（ASR/TTS）以及实验性的视频/音频生成。
• 容器化部署 – 预构建的 OCI 镜像（ghcr.io/gufo-org/toolboxes/gufo-runtime）可通过 Podman 运行，在 8080 端口暴露服务。
• 并发请求处理 – 开箱即用地支持批处理、取消和对话缓存。

如何开始

1. 下载模型 – 使用 README 中显示的 hf download 命令从 Hugging Face 下载模型。
2. 拉取运行时容器 – 并使用所需的 GPU 设备（/dev/kfd、/dev/dri）运行它。
3. 启动服务器 – 运行 gufo serve llm …，指向下载的 GGUF 文件，并可选择指定推测模型文件。
4. 查询 API – 使用简单的 curl POST 请求发送到 http://localhost:8080/v1/chat/completions。

README 还解释了如何从源代码构建 Gufo（使用 Nix 或经典 CMake）、所需的 ROCm 库，以及如何处理 SELinux 或 root-less Podman 权限。

适用人群 – 拥有 Strix Halo 工作站并希望在没有云 GPU 的情况下获得快速、本地托管的 AI 服务的开发者和研究人员。它填补了 AMD 硬件上“本地 OpenAI 兼容端点”的空白，类似于 llama.cpp 对 CPU 的作用。

许可证 – 核心代码采用 MIT 许可证；第三方组件保留其各自的声明。模型权重不包含在内，并遵循原始发布者的条款。