omlx: 它是什么，解决了什么问题，以及为什么它正受到关注

它解决了什么问题

oMLX 是一个专门为 Apple Silicon Macs 优化的 LLM 推理服务器。它通过提供一个托管环境，解决了便利性与控制权之间的权衡问题，用户可以在该环境中将模型固定在内存中，按需自动切换模型，并通过原生的 macOS 菜单栏应用或基于 Web 的管理仪表板来管理整个服务器。

它是如何工作的

该项目利用 MLX 框架来运行文本 LLM、视觉语言模型 (VLMs)、嵌入模型 (embedding models) 和重排序模型 (rerankers)。它实现了一个复杂的缓存栈，其特点是具有前缀共享和 Copy-on-Write 功能的基于块的 KV 缓存，并在两个层级运行：用于快速访问的“热”内存 RAM 层，以及用于以 safetensors 格式持久化缓存块的“冷” SSD 层。

它还通过 mlx-lm 的 BatchGenerator 使用连续批处理 (continuous batching) 来高效处理并发请求。

它是为谁准备的

使用 Apple Silicon Macs 的开发者和 AI 爱好者，他们希望拥有一个高性能、本地的 LLM 服务器，该服务器能与操作系统无缝集成，支持多模型服务，并兼容 OpenAI 和 Anthropic APIs。

亮点

• 分层 KV 缓存: 在 RAM 和 SSD 之间持久化上下文，允许在服务器重启后仍能复用上下文。
• 多模型管理: 提供 LRU 逐出、模型固定 (model pinning) 和每个模型的 TTL (生存时间) 功能，以优化内存使用。
• 原生 macOS 集成: 包括一个用于监控和控制的 SwiftUI 菜单栏应用，以及一个用于终端访问的 CLI shim。
• 全面的管理仪表板: 一个用于实时监控、从 HuggingFace 下载模型以及与 Claude Code 等工具进行一键集成的 Web UI。
• 广泛的模型支持: 支持 LLMs、VLMs、OCR 模型以及嵌入/重排序模型。
• API 兼容性: 可作为 OpenAI 和 Anthropic APIs 的直接替代方案，包括对工具调用 (tool calling) 和结构化输出的支持。