zeraix/zeraix
Open-source local AI workspace — advancing on-device inference.
Zeraix – 以桌面為首的AI工作區
是什麼 – Zeraix 是一個開源桌面應用程式,讓你能在自己的電腦上完全在本地執行大型語言模型(LLMs)與AI代理。它整合了模型下載/管理、聊天式助理、可讀取/寫入檔案並執行終端指令的開發者模式,以及用於重複性AI工作流程的排程器。目前核心執行時使用社群維護的 llama.cpp 引擎,而團隊自研的研究型執行時 ExactFlux 正在為未來版本開發中。
為何重要 – 多數AI產品都圍繞雲端API建構;Zeraix 則顛覆此模式,將本地模型設為預設。這為你帶來:
- 隱私保護 – 提示、檔案與對話歷史除非你明確使用雲端端點,否則永遠不會離開裝置。
- 離線能力 – 模型與執行時安裝後,無需網路連接即可全部運作。
- 硬體感知優化 – 應用程式會檢測你的CPU/GPU/統一記憶體,並推薦適合的量化GGUF模型,同時應用研究級優化(映射權重、推測解碼、KV快取重用等),實現更快、更低記憶體的推論。
核心元件
| 元件 | 功能 |
|---|---|
| Zeraix Desktop | 用於安裝GGUF模型、啟動本地OpenAI相容端點、聊天以及管理排程工作流程的GUI。 |
| 助理模式 | 可處理文字、影像與多模態模型的對話式UI;支援「技能」(預建工具擴充)與可選的雲端模型。 |
| 開發者模式 | 為選定模型提供對使用者指定工作區的受控存取:檔案搜尋/編輯、差異預覽、終端執行、瀏覽器工具,以及委派給子代理。 |
| 排程自動化 | 定義重複性AI工作(每日、每小時等),支援執行歷史、通知與每運行一次的輸出資料夾。 |
| QEMU沙箱 | 可選的輕量級虛擬機,透過 bubblewrap 對每個指令進行檔案系統範圍隔離,以隔離代理指令。 |
| Model Systems研究 | 持續內部研究(ExactFlux):記憶體高效推論、推測解碼、MoE處理、硬體特定後端(Metal、CUDA、Vulkan)。 |
支援平台 – macOS 13+(Apple Silicon)與 Windows 10/11 x64。公開發行版為每個平台預先建置了 llama.cpp 執行時;ExactFlux尚未包含在內。
典型工作流程
- 下載 – 從GitHub發行頁面下載安裝程式。
- 安裝 – macOS使用拖曳安裝,Windows使用標準的
.exe安裝程式。 - 新增模型 – 模型圖書館掃描你的硬體,推薦相容的GGUF模型,並與對應的
llama.cpp二進位檔一起下載。 - 開始對話 – 在助理中選擇本地模型並輸入提示;推論在本地執行。
- (可選) 啟用開發者模式 – 指定專案資料夾,讓模型在你明確批准下可讀取、編輯與執行程式碼。
- (可選) 建立排程工作流程 – 定義一個在指定時間自動執行的提示或腳本。
誰應考慮Zeraix
- 希望擁有自包含AI環境、不依賴付費雲端API的開發者或研究人員。
- 需要資料隱私的團隊(例如處理專有程式碼或機密文件)。
- 擁有足夠記憶體(建議≥ 16 GB)與現代CPU/GPU、希望在本地實驗量化LLM的使用者。
- 對尖端研究感興趣,即如何讓大型模型在消費級硬體上高效運行(團隊會發布效能測量與研究更新)。
成熟度與授權
- 桌面應用程式版本為 v1.11.0(穩定公開發行)。核心功能——模型管理、助理、開發者模式、排程與沙箱——均已具備生產就緒能力。
- 研究型執行時 ExactFlux 仍處於 「探索/原型」 階段,未包含在公開原始碼中;驗證後將開源。
- 授權為 Apache‑2.0,允許你以相同條款使用、修改與重新分發程式碼。
快速入門
- macOS:下載
.dmg,拖曳至 Applications,開啟(若出現安全警告則允許)。 - Windows:下載
.exe,執行安裝程式,啟動Zeraix。 - 按照內建的「快速入門」向導安裝推薦的GGUF模型並開始聊天。
社群與支援
- Discord:https://discord.gg/PcQ3jr3MfH
- X(Twitter):https://x.com/ZeraixAI
- 問題與功能請求透過 GitHub Issues 頁面處理。
總結 – Zeraix 提供了一個精緻、以隱私為先的桌面環境,用於執行本地LLM,特別強調系統層級的效能研究。如果你希望在不訂閱雲端服務的情況下,在自己的硬體上實驗強大模型,Zeraix 是一個具體且生產就緒的選擇。
相關
- 專案
- 專案
- Dispatch
- 專案
- 專案