warpfront/hipfire

hipfire – 在 AMD GPU 上进行 LLM 推理

它是什么 – hipfire 是一个原生推理引擎，直接在 AMD GPU 上运行大型语言模型（LLM）。它使用 Rust 编写，采用 HIP API 和名为 Redline 的自定义调度层。热路径中不涉及 Python、PyTorch 或 CUDA 转换层，因此整个技术栈保持原生 AMD 代码。

为什么重要 – 由于大多数开源运行时针对 CUDA，AMD GPU 在 LLM 工作中历来落后于 NVIDIA。hipfire 通过提供生产就绪、兼容 OpenAI 的服务器来填补这一空白，该服务器可以在 RDNA 和 CDNA 硬件上提供量化模型，并支持多 GPU 专家并行、推测解码，甚至支持较新的“Strix Halo” GPU 上的 XDNA2 NPU。

关键能力

功能	详情
仅 Rust 运行时	推理循环、模型加载器和 CLI 均为 Rust；运行时唯一的外部依赖是动态加载的 ROCm。
量化格式	支持多种自定义格式（MQ3-MQ6、MQ4R、MFP4），在大小和速度之间进行权衡。
模型注册表	捆绑一个 JSON 注册表，包含 90 个精选模型条目（Qwen、DeepSeek、Flux 等）和 82 个别名。
CLI 和服务器	`hipfire pull`、`run`、`chat`、`serve`、`bench`、`quantize` 以及兼容 OpenAI 的 HTTP 守护进程（默认端口 11435）。
推测解码	DFlash 草稿模型和原生 MTP 头，用于加速 token 生成。
多 GPU 专家并行	针对 MoE 模型的 EP2（双 GPU）和 EP4 路由；自动所有者路由预填充。
NPU 支持	在 gfx1151（Strix Halo）上，可以将主干投影卸载到 XDNA2 NPU。
PeaceMaker 工具链	树内内核构建器，无需调用 `hipcc` 即可生成并认证 AMD GPU 和 NPU 机器代码。
Redline 重放层	记录内核图，验证它，并重放以实现确定性性能；如果验证失败，则回退到正常的 HIP 调度。
兼容 OpenAI 的 API	提供 `/v1/chat/completions` 等端点，并带有可选标志，如 `enable_thinking`。
丰富的文档	超过 20 个 Markdown 页面，涵盖安装、模型选择、量化、配置、基准测试、GPU 矩阵等。

快速入门（简单示例）

# 获取一个 270 亿参数的 Qwen 模型（MQ4-XTS 量化）
hipfire pull qwen3.8:27b-mq4-xts

# 启动本地服务器（监听 127.0.0.1:11435）
hipfire serve qwen3.8:27b-mq4-xts -d

# 从 CLI 与之聊天
hipfire chat qwen3.8:27b-mq4-xts

对于单次请求，您也可以运行：

hipfire run qwen3.8:27b-mq4-xts "What is the capital of France?"

同一模型可以通过 curl 使用兼容 OpenAI 的端点访问。

模型支持

内置注册表包含许多系列：

Qwen 3.8 / 3.6 / 3.5（密集、MoE、Flash 草稿）– 大小从 0.8B 到 35B。
Ornith 1.5、Muse Glimmer、DeepSeek V4 Flash、MiniMax-M2.7、North-Mini-Code、Carnice、Qwopus、LFM2.5、VibeThinker 等。
Flux 图像生成模型（flux.schnell:1）。所有权重都托管在 hipfire-models HuggingFace 组织下。用户还可以通过 hipfire quantize 导入自己的模型。

GPU 覆盖范围

架构系列	GPU（示例）	亮点
Vega / CDNA	gfx906、gfx908、gfx940-942	Wave64 HIP 内核，针对旧卡的 DP4A 加速预填充。
RDNA1	gfx1010-1013	可移植 HIP + Redline 调度。
RDNA2	gfx1030-1032	与 RDNA1 相同，但 ISA 更新。
RDNA3	gfx1100-1103	WMMA 内核，MQ4R 路由。
RDNA3.5	gfx1150-1152	WMMA + 可选的 XDNA2 NPU 预填充（Strix Halo）。
RDNA4	gfx1200、gfx1201	WMMA、保留 PM4 Redline、EP2 多 GPU 并行。

引擎为每个架构选择最佳内核；如果缺少专用路径，则回退到可移植实现。

安装

Linux（ROCm 6+）。一行安装程序拉取预构建的内核包，或使用 hipcc 在本地构建：

curl -fsSL https://raw.githubusercontent.com/warpfront/hipfire/v0.4.2/scripts/install.sh | bash

Windows – 源代码构建说明在 GETTING_STARTED.md 中。
NixOS – 提供 flake 和模块用于声明式安装。
容器 – Containerfile 构建运行时镜像；运行时应暴露 /dev/kfd 和 /dev/dri 设备。

使用匹配的脚本卸载；--purge 还会删除 ~/.hipfire。

文档和社区

文档 – README 中有完整的目录；主题包括模型选择、量化、配置、服务、多 GPU 并行、图像生成、架构细节、基准测试方法和验证规则。
Discord – 活跃聊天室：https://discord.gg/F3BaywB8Rs。
PeaceMaker – 内核工具链也作为独立仓库发布（warpfront/peacemaker）。

许可证

hipfire 采用 Apache-2.0（v0.3.0 起）；早期版本采用 MIT/Apache-2.0 双许可。某些源文件保留 MIT 和 LLVM 例外。

摘要

hipfire 是一个生产级、基于 Rust 的 LLM 推理引擎，直接在 AMD GPU（RDNA 1-4、CDNA）上运行，无需任何 Python 或 CUDA 层。它附带精选模型注册表、功能丰富的 CLI、兼容 OpenAI 的服务器、自定义内核工具链（PeaceMaker）以及重放优化调度器（Redline）。如果您拥有 AMD GPU 并希望在本地运行大型语言模型，hipfire 是当今最完整的开源解决方案。