incoai/splash

解决的问题

Splash 是一个专为 Apple silicon（M3 及更新型号）优化的本地推理引擎，可让用户在单台 Mac 上以高性能运行大型语言模型（LLMs）、代码代理和具备视觉能力的模型。

工作原理

通过结合 DFlash 2 的推测解码、专用 Metal 内核和自动内存规划实现高速运行。该引擎重用缓存的前缀，并自动批处理并发请求以最大化吞吐量。支持 GGUF 和 MLX 4-bit 格式，在加载时将权重转换为内核布局，无需本地编译或 Xcode。

适用人群

使用 Apple silicon Mac（特别是 M3 或更新型号）的开发者和 AI 研究人员，希望在本地运行高性能本地 LLM、代码代理或 OpenAI/Anthropic 兼容应用。

主要亮点

• 高性能：相比 Apple silicon 上的 llama.cpp，解码速度显著更快。
• 广泛兼容：支持 OpenAI 和 Anthropic API 标准，包括流式传输、工具调用、JSON Schema 输出和内联 PDF。
• 硬件优化：专为 Apple silicon 设计，采用专用 Metal 内核和自动内存/上下文大小调整。
• 集成功能：内置聊天页面，支持具备视觉能力的模型。