peonist-ai/halogen-flash-server

Local inference that behaves like a frontier API: Qwen3.8-Flash-Next on AMD Strix Halo plus small NPU models, over the OpenAI and Anthropic APIs on one port.

halogen‑flash‑server – 针对 AMD Strix Halo 上 Qwen 3.8‑Flash‑Next 的超高速推理

简介 – 这是一款专门用于在单个 AMD Strix Halo GPU 上运行 Qwen 3.8‑Flash‑Next 大型语言模型的服务器。代码包含针对该特定芯片与模型系列调校的自定义内核，因此能在约 1.6 秒内开始响应请求，并维持极高的 token 吞吐量（重复文本最高可达 94 tokens / s，长文本预填充超过 1 800 tokens / s）。

重要性 – 通用运行环境（如 vLLM, llama.cpp）必须支持多种 GPU 与模型，这会增加额外开销。通过移除所有可移植性层并仅为单一 GPU 编写内核，halogen 达到了其他服务器无法比拟的速度，对于需要在极长上下文窗口（30 k–96 k tokens）下保持低延迟的 AI 代理极具吸引力。

关键功能（详见 README）

功能	详细说明
模型支持	开箱即用支持 Qwen 3.8‑Flash‑Next (v2 checkpoint)；也可加载兼容的 `llama.cpp` GGUF 文件（例如 Unsloth 的 `UD‑IQ4_XS`）。
吞吐量	预填充：1 821 tok/s (8 k 提示词) → 1 675 tok/s (131 k 提示词)。解码：重复输出最高 94 tok/s；代码 73 tok/s，散文 54 tok/s。
延迟	代理对话的首字约 1.6 秒到达；完整对话（约 200 token 回答）约 4.2 秒完成。34 k‑token 提示词的冷启动约 21 秒。
上下文长度	通过特殊设置最高支持 1 M tokens；一般运行使用 32 k–131 k tokens 提示词。
精度	默认检查点为 4.16 bits per weight (bpw)；若计算所有 179.55 B 参数与 FP8 n‑gram 查询，则为 5.25 bpw。
推测解码	使用草稿头（模型提供或请求提供）来加速贪婪解码，且不牺牲输出质量。
API	兼容 OpenAI 的 HTTP 端点（completion, chat, embeddings, classifier, image generation 等）。详细端点文档请见 `docs/api.md`。
设置	缓存模式、KV‑pool 大小、基于磁盘的提示词缓存、token 预算限制、选用的 API‑key 强制执行、请求日志记录。
部署	以容器镜像形式发布 (`ghcr.io/peonist-ai/halogen-flash-server`)。快速入门脚本展示如何使用 Podman (或 Docker) 并通过 `/dev/kfd` 与 `/dev/dri` 暴露 GPU。
硬件需求	AMD Ryzen AI Max+ 395 (Strix Halo)，至少 128 GB RAM；BIOS UMA 帧缓冲区必须设为最小值，以便引擎使用主机 RAM 而非专用 VRAM。

典型使用工作流程

准备主机 – 将 BIOS UMA 预留空间设为最小值，安装容器运行环境，确保 /dev/kfd 与 /dev/dri 可访问。
拉取镜像 – podman pull ghcr.io/peonist-ai/halogen-flash-server:0.18.1。
运行容器 – 使用快速入门指令（挂载本地 ~/halogen-models 目录存放模型权重，暴露 8731 端口，传递 HALOGEN_DOWNLOAD 环境变量以获取官方 Qwen 权重）。
调用 API – 从任何客户端库发送 OpenAI 风格的请求（例如 POST /v1/chat/completions）。对于代理，每轮发送完整对话历史；服务器将在几秒内返回答案。
调校 – 若需要更长的窗口，可通过 docs/configuration.md 调整缓存模式、KV‑pool 大小或启用 1 M‑token 上下文。

入门资源

文档网站 – https://peonist-ai.github.io/halogen-flash-server/ (可搜索)。
快速入门 – docs/getting-started.md (README 已包含单行 Docker/Podman 指令)。
代理指南 – AGENTS.md 解释如何将服务器挂载到自主编码代理中。
性能数据 – docs/performance.md 可通过单一指令重现吞吐量/延迟数据。
疑难排解 – docs/troubleshooting.md 涵盖常见启动失败、SELinux 问题与长提示词卡顿。

社区与支持

Discord – https://discord.gg/bcm6QknaV6 – 实时协助、基准测试分享、硬件特定技巧。
GitHub Issues – 用于报告错误与回归问题；仓库包含 CONTRIBUTING.md，说明需提供的信息。
安全性 – 直接报告给维护者（无公开 issue）。

授权

引擎本身依据 LICENSE.md 中的授权条款发布（宽松的开源授权）。第三方组件列于 THIRD-PARTY-NOTICES.md。模型权重未捆绑；它们仍受原始作者授权约束，必须另外获取（README 的快速入门会从 peonist-ai/halogen-qwen3.8-flash-next 镜像拉取）。

总结

halogen‑flash‑server 是一款高度专业化的推理服务器，能为 Qwen 3.8‑Flash‑Next 模型从单个 AMD Strix Halo GPU 中榨出最大性能。它针对需要次秒级首字延迟且能接受硬件锁定部署的 AI 代理开发者。该项目提供详尽文档、开箱即用的容器镜像以及活跃的 Discord 社区支持。