zeraix/zeraix

Open-source local AI workspace — advancing on-device inference.

Zeraix – 以桌面為首的AI工作區

是什麼 – Zeraix 是一個開源桌面應用程式,讓你能在自己的電腦上完全在本地執行大型語言模型(LLMs)與AI代理。它整合了模型下載/管理、聊天式助理、可讀取/寫入檔案並執行終端指令的開發者模式,以及用於重複性AI工作流程的排程器。目前核心執行時使用社群維護的 llama.cpp 引擎,而團隊自研的研究型執行時 ExactFlux 正在為未來版本開發中。

為何重要 – 多數AI產品都圍繞雲端API建構;Zeraix 則顛覆此模式,將本地模型設為預設。這為你帶來:

  • 隱私保護 – 提示、檔案與對話歷史除非你明確使用雲端端點,否則永遠不會離開裝置。
  • 離線能力 – 模型與執行時安裝後,無需網路連接即可全部運作。
  • 硬體感知優化 – 應用程式會檢測你的CPU/GPU/統一記憶體,並推薦適合的量化GGUF模型,同時應用研究級優化(映射權重、推測解碼、KV快取重用等),實現更快、更低記憶體的推論。

核心元件

元件 功能
Zeraix Desktop 用於安裝GGUF模型、啟動本地OpenAI相容端點、聊天以及管理排程工作流程的GUI。
助理模式 可處理文字、影像與多模態模型的對話式UI;支援「技能」(預建工具擴充)與可選的雲端模型。
開發者模式 為選定模型提供對使用者指定工作區的受控存取:檔案搜尋/編輯、差異預覽、終端執行、瀏覽器工具,以及委派給子代理。
排程自動化 定義重複性AI工作(每日、每小時等),支援執行歷史、通知與每運行一次的輸出資料夾。
QEMU沙箱 可選的輕量級虛擬機,透過 bubblewrap 對每個指令進行檔案系統範圍隔離,以隔離代理指令。
Model Systems研究 持續內部研究(ExactFlux):記憶體高效推論、推測解碼、MoE處理、硬體特定後端(Metal、CUDA、Vulkan)。

支援平台 – macOS 13+(Apple Silicon)與 Windows 10/11 x64。公開發行版為每個平台預先建置了 llama.cpp 執行時;ExactFlux尚未包含在內。

典型工作流程

  1. 下載 – 從GitHub發行頁面下載安裝程式。
  2. 安裝 – macOS使用拖曳安裝,Windows使用標準的 .exe 安裝程式。
  3. 新增模型 – 模型圖書館掃描你的硬體,推薦相容的GGUF模型,並與對應的 llama.cpp 二進位檔一起下載。
  4. 開始對話 – 在助理中選擇本地模型並輸入提示;推論在本地執行。
  5. (可選) 啟用開發者模式 – 指定專案資料夾,讓模型在你明確批准下可讀取、編輯與執行程式碼。
  6. (可選) 建立排程工作流程 – 定義一個在指定時間自動執行的提示或腳本。

誰應考慮Zeraix

  • 希望擁有自包含AI環境、不依賴付費雲端API的開發者或研究人員。
  • 需要資料隱私的團隊(例如處理專有程式碼或機密文件)。
  • 擁有足夠記憶體(建議≥ 16 GB)與現代CPU/GPU、希望在本地實驗量化LLM的使用者。
  • 尖端研究感興趣,即如何讓大型模型在消費級硬體上高效運行(團隊會發布效能測量與研究更新)。

成熟度與授權

  • 桌面應用程式版本為 v1.11.0(穩定公開發行)。核心功能——模型管理、助理、開發者模式、排程與沙箱——均已具備生產就緒能力。
  • 研究型執行時 ExactFlux 仍處於 「探索/原型」 階段,未包含在公開原始碼中;驗證後將開源。
  • 授權為 Apache‑2.0,允許你以相同條款使用、修改與重新分發程式碼。

快速入門

  • macOS:下載 .dmg,拖曳至 Applications,開啟(若出現安全警告則允許)。
  • Windows:下載 .exe,執行安裝程式,啟動Zeraix。
  • 按照內建的「快速入門」向導安裝推薦的GGUF模型並開始聊天。

社群與支援


總結 – Zeraix 提供了一個精緻、以隱私為先的桌面環境,用於執行本地LLM,特別強調系統層級的效能研究。如果你希望在不訂閱雲端服務的情況下,在自己的硬體上實驗強大模型,Zeraix 是一個具體且生產就緒的選擇。

相關

  • 專案
  • 專案
  • Dispatch
  • 專案
  • 專案