Michael-A-Kuykendall/shimmy

解决的问题

Shimmy 提供一个轻量级的单二进制推断服务器，允许用户在本地和私有环境中运行 GGUF 模型。它消除了对复杂 C++ 工具链或 Python 运行时的需求，为 Ollama 等大型工具提供了高性能替代方案。

工作原理

Shimmy 作为 OpenAI 兼容的 API 服务器运行。它使用 Airframe 引擎——一个纯 Rust 的 Transformer 引擎，利用 WebGPU（WGSL）计算着色器，在各种硬件（NVIDIA、AMD、Intel、Apple Silicon）上执行模型。它能从 GGUF 元数据中自动推导模型规格，并支持 F32 累积精度以实现确定性输出。

适用人群

希望使用最小依赖、零依赖的 Rust 基础服务器，通过 OpenAI 兼容接口将本地 LLM 集成到现有工具中的开发者和 AI 爱好者。

主要亮点

• OpenAI SDK 兼容性：支持聊天补全、文本补全和流式传输。
• 纯 Rust 实现：100% Rust 实现，无 Python 或 C++ 依赖。
• TurboShimmy：INT4 KV 缓存压缩功能，显著降低显存使用量。
• 广泛硬件支持：通过 WebGPU 支持多种 GPU。
• 认证模型：对支持的模型/量化组合实施严格的 3 箱认证流程（MATH、INFERENCE、DETERMINISM）。