magnitudedev/magnitude

解决的问题

Magnitude 通过摒弃预编译内核，解决了本地 LLM 推理中的性能差距问题。它不使用适用于广泛硬件类别的通用内核，而是针对用户设备上的特定芯片优化模型执行，以最大化速度和内存效率。

工作原理

Magnitude 是一个推理引擎，在模型运行前直接在你的硬件上编译和调优其内核。它为流行的开放权重模型家族提供手工优化的内核，并利用共享前缀缓存在并发会话期间保持速度。它以带有集成 CLI 的桌面应用程序形式交付。

适用人群

面向希望在 macOS、Windows 或 Linux 上使用 Apple Silicon、NVIDIA、AMD GPU 或 CPU 本地运行开放权重模型的开发者和用户，以及希望将这些模型与现有 AI 代理（如 Cline、Claude Code 或 Pi）集成的用户。

亮点

• 硬件特定调优：在设备上编译和调优内核，性能优于通用引擎。
• 跨平台支持：适用于 Apple Silicon、NVIDIA、AMD 以及仅 CPU 的设置。
• 性能提升：声称比 llama.cpp 快 2 倍，特别指出在 Metal 上解码快 92%，在 CUDA 上快 19%。
• 代理集成：一键连接多种代理，并为其他代理提供 OpenAI 兼容 API。
• 资源效率：每个代理内存使用减少 27%，并在代理不活跃时释放内存。