ztxz16/fastllm

FastLLM – 高性能本地 LLM 推理引擎

它是什么 – FastLLM 是一个基于 C++ 的运行时，让您可以在单台机器上运行大型语言模型（LLM），或将其作为服务公开。它不依赖 PyTorch；相反，它自带 CUDA、ROCm、CPU 和 NUMA 的内核，甚至可以将模型的部分放置在 SSD 上。该项目提供一个 Python 包（ftllm），提供 CLI、Web UI 和 OpenAI 兼容的 API 服务器。

主要功能

功能	对您的意义
快速模型导入	开箱即用支持许多近期中国来源的模型（Qwen‑4‑Exp、Qwen‑3.8‑Flash‑Next、DeepSeek‑V4、Kimi‑K3、GLM‑5 等）。
混合专家（MoE）与混合部署	普通层可以在 GPU 上运行，而专家层可以放置在 CPU、NUMA 内存甚至磁盘上，允许在 GPU 内存有限的机器上运行非常大的模型。
多 GPU 张量并行	适用于任意数量的 GPU，包括奇数，并能自动检测可用设备（--tp auto）。
推测解码	内置支持 MTP、DSpark 和 DFlash2 – 这些技术会提前生成“草稿”token 以加速生成。
广泛的精度支持	FP16、BF16、FP8、INT4、K‑Quant、AWQ、GGUF 等，并自动选择 dtype（--dtype auto）。
OpenAI 兼容 API	提供 /v1/chat/completions、/v1/completions 和 Anthropic 风格端点；支持流式、工具调用和自定义采样参数。
可扩展后端	核心是 C++/CUDA，但您可以插入 Triton 运算、自定义 Python 模型图或其他加速器。

典型工作流程

1. 安装 – pip install -U ftllm（Linux/Windows GPU、ROCm 的预建 wheel，或其他硬件的源码构建）。Windows 可能需要额外的依赖 wheel。
2. 冒烟测试 – ftllm run Qwen/Qwen3-0.6B 下载一个小型测试模型并运行单次推理。
3. 启动服务 – ftllm server <model> 启动一个 OpenAI 兼容的服务器（默认 0.0.0.0:8080）。
4. 可选 UI – ftllm webui --api_base http://127.0.0.1:8080/v1 或直接 ftllm launch，它会打开一个浏览器型的“Launcher”，也帮助您下载模型、调整硬件设置和管理代理。
5. 调用模型 – 对 /v1/chat/completions 端点发出标准 curl 请求。

如何调优性能（来自 README 的示例）

• 张量并行：--tp 0,1 或 --tp auto。
• 混合 MoE：--device cuda --moe_device numa 或甚至 --moe_device "{'cuda':1,'numa':8,'disk':1}"。
• 上下文长度：--max_context_length 65536 搭配 RoPE 缩放 JSON 以安全地扩展窗口。
• 推测解码：--mtp 4（MTP 草稿 token）或 --draft /path/to/draft --draft_tokens 5 用于外部检查点。
• 缓存控制：--kv_cache_dtype fp4、--gpu_mem_ratio 0.9、--tokens 1000000 用于大规模 KV 缓存。

文档与社区

• 详细的模型特定部署指南（Qwen、DeepSeek、Kimi、GLM、Laguna 等）。
• 每个模型的基准表，显示 TTFT、prefill 和 decode 吞吐量。
• QQ/微信社区，供用户和开发者交流。
• Apache‑2.0 许可证，欢迎通过 Issues 和 PR 贡献。

结论 – FastLLM 是一个生产就绪、高吞吐量的 LLM 推理引擎，在本地运行且无需 PyTorch，支持 MoE 混合、推测解码等高级功能，并为需要在普通硬件上服务大型模型的开发者和研究人员提供完整堆栈（CLI、Web UI、OpenAI 兼容 API）。