Nativ —— macOS 上的本地 AI

简介

Nativ 是一款原生 macOS 应用程序（使用 SwiftUI 编写），可让您在 Apple 芯片 Mac 上本地运行大语言模型、视觉模型和语音模型。它捆绑了开源 mlx-vlm 服务器（使用 MLX 运行时），并提供了一个精美的界面，用于聊天、图像生成、音频听写、模型管理、性能监控以及向其他工具公开 OpenAI 兼容 API。

核心功能（根据 README 描述）

功能	描述
本地聊天与视觉	具有流式响应、图像附件、指标和持久历史记录的对话式界面。
多窗口	共享同一推理服务器和模型的独立工作区。
共享工作面板	在聊天旁边打开文档、代码、HTML 或网站；代理可以编辑或与同一面板交互。
图像生成与编辑	在“图像”标签页中运行兼容的 MLX 图像模型。
模型库	发现已安装的 MLX 模型，浏览 Hugging Face，查看内存适配警告，在外部 APFS 上存储缓存，预加载多种模型类型并进行管理。
性能分析	跟踪请求量、token 使用量、延迟、解码速度等。
系统监视器	实时显示每个核心的 CPU、GPU、内存、磁盘、SMART 健康状态、热传感器和电源传感器。
本地 API	OpenAI 兼容的 /v1/chat/completions、/v1/models、图像、音频、嵌入；Anthropic 兼容的 /v1/messages。
编码工具集成	预配置的代理（Claude、Codex 等）和编辑器（VS Code、Cursor、Zed、JetBrains 等）可以连接到本地服务器。
开发者工作区	服务器主机/端口、Hugging Face 令牌、运行时详细信息、日志视图、健康监视器。
菜单栏控件	快速启动/停止、模型切换、实时 CPU/GPU/RAM 迷你图。
扩展平台	安装/禁用带版本的扩展；第一方音频扩展添加了听写界面、快捷键和分析。
工件浏览器	浏览、过滤和语义搜索聊天中生成的图像/文档。
MCP 服务器	连接模型上下文协议服务器以实现工具级扩展。
计划任务	使用工具包、工具和技能按计划运行保存的提示。
高级推理控制	采样、预算、结构化输出、KV 缓存量化、推测解码等。

工作原理（高层架构）

Nativ (SwiftUI app) → NativServerKit → bundled mlx-vlm server → MLX runtime → local Apple-silicon models

• NativServerKit 提供了嵌入式 Python 运行时，并管理 mlx-vlm 服务器的生命周期。
• 服务器使用 MLX 库执行推理，该库直接在 Mac 的统一内存和 GPU 上运行。
• SwiftUI 前端通过 localhost HTTP 与服务器通信，暴露与 OpenAI/Anthropic 服务相同的端点。

快速入门

• 预构建 – 从最新的 GitHub 版本下载 DMG，或通过 Homebrew（brew install --cask nativ）安装。该应用使用 Sparkle 进行自我更新。
• 首次启动 – 选择或下载兼容模型，可选设置 API 密钥，授予麦克风/辅助功能权限，然后开始聊天。
• 从源码构建 – 需要 Xcode 26+、Swift 5、xcodegen、Python 3 和 Metal 工具链。使用 make xcode-generate && make xcode-build 构建。首次构建会组装可重定位的 Python 捆绑包并安装固定的 mlx-vlm 依赖项。

系统要求

• Apple 芯片 Mac（M1/M2/…）
• macOS 26 或更高版本
• 所选模型需要足够的内存
• 可选：用于受控模型的 Hugging Face 令牌

可扩展性

• 扩展 – 添加 UI 页面、命令、快捷键和权限的包。内置的 音频 扩展提供语音听写功能。
• 工具包与 MCP – 开发者可以发布额外功能（例如自定义工具），聊天可以调用这些功能。

典型用例

1. 私人本地聊天助手 – 无需互联网，完全控制数据。
2. 本地 API 服务器 – 运行 curl 或配置 VS Code、Cursor 等使用 OpenAI 兼容端点。
3. 图像生成 – 无需离开应用即可生成或编辑图像。
4. 语音听写 – 捕获音频，在本地转录，并插入到任何应用中。
5. 性能监控 – 查看模型如何利用 CPU/GPU 并调整设置。

---

以上所有细节均直接摘自该仓库的 README。