EricLBuehler/candle-vllm

解决的问题

Candle-vLLM 提供了一个高性能平台，用于运行和提供本地大语言模型（LLM）服务。它通过提供 OpenAI 兼容 API、内置 Web 界面以及先进的内存优化技术，解决了部署生产级推理服务器的复杂性，从而能够在现有硬件上处理大型模型。

工作原理

基于 Candle 框架构建，该项目实现了多种行业标准优化技术，以最大化吞吐量并减少内存使用：

• 内存管理： 使用 PagedAttention 进行高效的 KV 缓存管理，并支持“TurboQuant”以实现激进的 2-4 位 KV 缓存压缩，将上下文窗口扩展至多 4.7 倍。
• 执行优化： 采用连续批处理（continuous batching）、CUDA Graphs 以及原生 Flash Attention/FlashInfer 来加速令牌生成。
• 硬件灵活性： 支持 CUDA (Linux) 和 Metal (macOS)，允许同一代码库在不同平台上运行。
• 可扩展性： 支持跨多个 GPU（多进程或多线程）的张量并行，并通过基于 TCP 的协调将推理分布在多台机器上。
• 量化： 支持多种格式，包括 GGUF、GPTQ、AWQ、Marlin 和 FP8/FP4，并具备即时原位量化能力。

适用人群

该工具专为需要以生产级性能在本地提供 LLM 服务的开发者和研究人员设计，特别是针对 NVIDIA GPU 或 Apple Silicon 的用户。

亮点

• OpenAI 兼容： 包含 API 服务器和 ChatGPT 风格的 Web UI，可立即使用。
• 跨平台： 原生支持 CUDA 和 Metal。
• 高级压缩： TurboQuant KV 缓存压缩显著降低了内存开销。
• 投机解码： 支持内置的多令牌预测（MTP）和外部 DFlash2 草稿模型，以加速生成。
• 企业级扩展： 无需 MPI 即可实现多节点推理能力。