pegainfer-project/pegainfer

解决的问题

PegaInfer 是一个专为生产环境设计的高性能 LLM 推理服务器。它消除了对 Python 运行时或 PyTorch 的依赖，显著降低了内存开销和启动时间，同时提供与 OpenAI 兼容的 API，用于部署各种大型语言模型。

工作原理

该项目完全使用 Rust 和 CUDA 构建，采用模块化架构，将共享基础设施（GPU 原语、采样、KV 缓存）与模型特定逻辑解耦。每个支持的模型都拥有自己的调度器、状态管理及内核，从而能够针对特定模型架构（如密集型、MoE 或混合注意力模型）实现优化的执行路径。

适用人群

适用于需要在 NVIDIA GPU 上以极低延迟、低内存占用和高吞吐量部署 LLM 的开发者和工程师，尤其适合寻求 Python 基础推理栈替代方案的用户。

主要亮点

• 零 Python 运行时：运行时无需 PyTorch 或 Python，显著减少常驻内存和冷启动时间。
• OpenAI 兼容：提供标准的 /v1/completions 和 /v1/chat/completions API，支持流式传输。
• 广泛模型支持：支持多种模型家族，包括 Qwen3、Qwen3.5、Gemma 4、DeepSeek-V2-Lite、Kimi-K2/K3 和 GLM-5.2。
• 先进推理技术：实现张量并行、前缀缓存、KV 卸载和推测解码（DFlash/DSpark）。
• 硬件优化：专为 NVIDIA GPU 优化，支持 Blackwell 架构及专用内核。