Luce-Org/lucebox

Lucebox – 面向消费级 GPU 和异构设备的高性能 LLM 推理引擎

它是什么 Lucebox 是一个用现代 C++ (C++17) 编写的开源推理引擎，支持 NVIDIA (CUDA) 和 AMD (HIP) GPU。它专注于投机推理：通过自定义内核加速 token 预填充和解码，通常使用轻量级“草稿”模型在主模型完成工作之前预测下一个 token。该项目提供了一系列优化（DFlash2, DSpark, PFlash, KVFlash, Megakernel 等）和一组现成的模型-硬件配置文件。

主要特点

• 投机预填充和解码 – 草稿模型在主模型之前运行，将预填充延迟降低高达 6 倍，并将解码速度提升数倍。
• 硬件专用内核 – 针对多种 GPU/APU 调优，从消费级 Radeon R9700 和 RTX 3090/4090/5090 到 DGX-Spark 和 Jetson AGX Thor。
• 异构执行 – 可以在多个设备间分配工作（例如，AMD GPU 负责草稿模型，另一个设备负责主模型），甚至可以使用 SSD 内的“专家”处理超长上下文。
• 分页注意力和连续批处理 – 以低开销保持许多客户端请求，适用于服务聊天类工作负载。
• 视觉支持 – 集成图像-问题流水线，支持在同一引擎上进行多模态推理。
• 模型无关 – 支持任何兼容 GGUF 的检查点；README 列出了数十种经过测试的模型（如 Qwen 3.8 27B、DeepSeek V4、Laguna XS 33B、Gemma 4 26/31B 等）以及相应的草稿模型和量化方式。

性能亮点（来自 README）

硬件	模型	速度
Radeon R9700	Qwen 3.8 27B (DFlash2)	208 tok/s (HumanEval)
RTX 5090	Qwen 3.8 27B	110 tok/s（针对 26 k-token 提示）
2× RTX 3090 (NVLink)	Qwen 3.8 + DFlash2	79.7 tok/s，解码速度提升 2.16 倍
混合 AMD (R9700 + Strix Halo)	DeepSeek V4	86 tok/s 解码，788 tok/s 预填充
视觉 (R9700 + Strix Halo)	Qwen 3.8 27B vision	吞吐量是 DGX Spark 的 3.2 倍

如何开始

1. 安装 – 仓库提供 CMake 构建文件，可根据系统自动选择 CUDA 或 HIP。
2. 选择配置文件 – server/docs/RECOMMENDED_SETUPS.md 文件列出了针对每种 GPU/模型组合的现成命令行标志（例如 --profile ds41-lucebox）。
3. 运行服务器 – 代码附带一个轻量级 HTTP 服务器，您可以发送标准的 OpenAI 兼容聊天/补全请求。
4. 扩展 – 模块化内核设计允许您添加新的投机草稿模型或集成其他量化格式。

谁可能使用它

• 希望在单张消费级 GPU 上获得最快推理性能的研究人员或爱好者。
• 构建需要低延迟、支持大量并发用户的私有 LLM 服务的开发者。
• 任何想尝试投机解码、混合设备流水线或多模态（图像-文本）推理，而无需购买数据中心级服务器的人。

更多资源

• 网站和博客 – https://www.lucebox.com/ （详细的基准测试报告）
• 模型权重 – 托管在 Hugging Face 的 Lucebox 组织下。
• 社区 – 在徽章栏中获取 Discord 链接，以获得实时帮助和性能提示。

---

以上所有信息均直接取自仓库的 README，未添加任何外部假设。