zeraix/zeraix

Open-source local AI workspace — advancing on-device inference.

Zeraix – 以桌面为先的AI工作区

是什么 – Zeraix 是一个开源桌面应用程序,可让你在自己的计算机上完全本地运行大型语言模型(LLMs)和AI代理。它集成了模型下载/管理、聊天式助手、可读写文件并运行终端命令的开发者模式,以及用于重复AI工作流的调度器。当前核心运行时使用社区维护的 llama.cpp 引擎,而团队自研的研究型运行时 ExactFlux 正在为未来版本开发中。

为何重要 – 大多数AI产品都围绕云API构建;Zeraix则颠覆了这一模式,将本地模型设为默认。这为你带来:

  • 隐私保护 – 提示、文件和对话历史除非你明确使用云端点,否则永远不会离开设备。
  • 离线能力 – 模型和运行时安装后,无需互联网连接即可全部运行。
  • 硬件感知优化 – 应用程序会检测你的CPU/GPU/统一内存,并推荐适合的量化GGUF模型,同时应用研究级优化(映射权重、推测解码、KV缓存复用等),实现更快、更低内存的推理。

核心组件

组件 功能
Zeraix Desktop 用于安装GGUF模型、启动本地OpenAI兼容端点、聊天以及管理计划工作流的GUI。
助手模式 可处理文本、图像和多模态模型的对话式UI;支持“技能”(预构建工具扩展)和可选的云模型。
开发者模式 为选定模型提供对用户指定工作区的受控访问:文件搜索/编辑、差异预览、终端执行、浏览器工具,以及委托给子代理。
计划自动化 定义重复性AI任务(每日、每小时等),支持运行历史、通知和每运行一次的输出文件夹。
QEMU沙箱 可选的轻量级虚拟机,通过 bubblewrap 对每个命令进行文件系统范围隔离,以隔离代理命令。
Model Systems研究 持续内部研究(ExactFlux):内存高效推理、推测解码、MoE处理、硬件特定后端(Metal、CUDA、Vulkan)。

支持平台 – macOS 13+(Apple Silicon)和 Windows 10/11 x64。公开发布版为每个平台预构建了 llama.cpp 运行时;ExactFlux尚未包含在内。

典型工作流

  1. 下载 – 从GitHub发布页面下载安装程序。
  2. 安装 – macOS使用拖放方式,Windows使用标准的 .exe 安装程序。
  3. 添加模型 – 模型库扫描你的硬件,推荐兼容的GGUF模型,并与匹配的 llama.cpp 二进制文件一起下载。
  4. 开始对话 – 在助手中选择本地模型并输入提示;推理在本地运行。
  5. (可选) 启用开发者模式 – 指定项目文件夹,使模型在你明确批准下可读取、编辑和执行代码。
  6. (可选) 创建计划工作流 – 定义一个在选定时间自动运行的提示或脚本。

谁应考虑Zeraix

  • 希望拥有自包含AI环境、不依赖付费云API的开发者或研究人员。
  • 需要数据隐私的团队(例如处理专有代码或机密文档)。
  • 拥有足够内存(建议≥ 16 GB)和现代CPU/GPU、希望在本地实验量化LLM的用户。
  • 前沿研究感兴趣,即如何让大模型在消费级硬件上高效运行(团队会发布性能测量和研究更新)。

成熟度与许可

  • 桌面应用程序版本为 v1.11.0(稳定公开发布)。核心功能——模型管理、助手、开发者模式、调度和沙箱——均已具备生产就绪能力。
  • 研究型运行时 ExactFlux 仍处于 “探索/原型” 阶段,未包含在公开源代码中;验证后将开源。
  • 许可证为 Apache‑2.0,允许你以相同条款使用、修改和重新分发代码。

快速入门

  • macOS:下载 .dmg,拖入 Applications,打开(若出现安全警告则允许)。
  • Windows:下载 .exe,运行安装程序,启动Zeraix。
  • 按照内置的“快速入门”向导安装推荐的GGUF模型并开始聊天。

社区与支持


总结 – Zeraix 提供了一个精致、以隐私为先的桌面环境,用于运行本地LLM,特别强调系统级性能研究。如果你希望在不订阅云服务的情况下,在自己的硬件上实验强大模型,Zeraix 是一个具体且生产就绪的选项。

相关

  • 项目
  • 项目
  • Dispatch
  • 项目
  • 项目