Blaizzy/nativ

解決的問題

Nativ 為在 Apple Silicon 上本地執行 AI 模型提供了一個整合性的原生 macOS 工作區。它透過將伺服器與精緻的使用者介面打包成單一應用程式，消除了管理獨立 Python 環境與伺服器設定的繁瑣過程，讓使用者無需複雜設定即可與模型對話、產生圖像，並提供本地 API 服務。

工作原理

Nativ 使用 SwiftUI 應用程式與 NativServerKit 互動，該 Kit 管理嵌入式 Python 發行版與封裝的 mlx-vlm 伺服器。此伺服器利用 MLX 執行時在 Apple 的統一記憶體上直接執行模型。它可偵測 Hugging Face 快取中的模型，並透過 OpenAI 與 Anthropic 相容的本地 API 暴露這些模型，以便與其他工具整合。

適用對象

專為希望獲得私密、本地 AI 使用體驗的 Apple Silicon 搭載 macOS 使用者設計，也適合需要本地推論伺服器來驅動程式碼代理與其他 AI 整合應用的開發者。

主要特色

• 本地聊天與視覺功能：支援串流對話、圖片附件與推理輸出。
• 圖像生成：專用標籤頁，使用 MLX 模型在本地產生與編輯圖像。
• 模型管理：從 Hugging Face 浏覽、下載與切換 MLX 模型，並提供記憶體適配警告。
• 本地 API 伺服器：提供 OpenAI 與 Anthropic 相容的端點，供 VS Code、Cursor、Aider 等外部工具使用。
• 系統監控：即時追蹤 CPU/GPU 負載、統一記憶體壓力與溫度感測器資料。
• 擴充平台：支援模組化功能，包含內建的語音輸入音訊擴充。
• MCP 集成：連接到 Model Context Protocol 伺服器，讓聊天模型可存取外部工具。
• 進階推論控制：支援採樣、思考預算、KV 快取量化與預測解碼等進階控制選項。