Blaizzy/nativ

解决的问题

Nativ 为在 Apple Silicon 上本地运行 AI 模型提供了一个统一的原生 macOS 工作区。它通过将服务器和精美的用户界面打包成一个应用程序，消除了管理独立 Python 环境和服务器设置的繁琐过程，使用户无需复杂配置即可与模型聊天、生成图像，并提供本地 API 服务。

工作原理

Nativ 使用 SwiftUI 应用程序与 NativServerKit 进行交互，该 Kit 管理嵌入式 Python 发行版和捆绑的 mlx-vlm 服务器。该服务器利用 MLX 运行时在 Apple 的统一内存上直接运行模型。它可以发现 Hugging Face 缓存中的模型，并通过 OpenAI 和 Anthropic 兼容的本地 API 暴露这些模型，以便与其他工具集成。

适用人群

专为希望获得私有、本地 AI 体验的 Apple Silicon 搭载 macOS 用户设计，也适合需要本地推理服务器来驱动代码代理和其他 AI 集成应用的开发者。

主要亮点

• 本地聊天与视觉功能：支持流式对话、图像附件和推理输出。
• 图像生成：专用标签页，使用 MLX 模型在本地生成和编辑图像。
• 模型管理：从 Hugging Face 浏览、下载和切换 MLX 模型，并提供内存适配警告。
• 本地 API 服务器：提供 OpenAI 和 Anthropic 兼容的端点，供 VS Code、Cursor、Aider 等外部工具使用。
• 系统监控：实时跟踪 CPU/GPU 负载、统一内存压力和温度传感器数据。
• 扩展平台：支持模块化功能，包括内置的语音输入音频扩展。
• MCP 集成：连接到 Model Context Protocol 服务器，使聊天模型可访问外部工具。
• 高级推理控制：支持采样、思考预算、KV 缓存量化和推测解码等高级控制选项。