zeraix/zeraix
Open-source local AI workspace — advancing on-device inference.
Zeraix – 以桌面为先的AI工作区
是什么 – Zeraix 是一个开源桌面应用程序,可让你在自己的计算机上完全本地运行大型语言模型(LLMs)和AI代理。它集成了模型下载/管理、聊天式助手、可读写文件并运行终端命令的开发者模式,以及用于重复AI工作流的调度器。当前核心运行时使用社区维护的 llama.cpp 引擎,而团队自研的研究型运行时 ExactFlux 正在为未来版本开发中。
为何重要 – 大多数AI产品都围绕云API构建;Zeraix则颠覆了这一模式,将本地模型设为默认。这为你带来:
- 隐私保护 – 提示、文件和对话历史除非你明确使用云端点,否则永远不会离开设备。
- 离线能力 – 模型和运行时安装后,无需互联网连接即可全部运行。
- 硬件感知优化 – 应用程序会检测你的CPU/GPU/统一内存,并推荐适合的量化GGUF模型,同时应用研究级优化(映射权重、推测解码、KV缓存复用等),实现更快、更低内存的推理。
核心组件
| 组件 | 功能 |
|---|---|
| Zeraix Desktop | 用于安装GGUF模型、启动本地OpenAI兼容端点、聊天以及管理计划工作流的GUI。 |
| 助手模式 | 可处理文本、图像和多模态模型的对话式UI;支持“技能”(预构建工具扩展)和可选的云模型。 |
| 开发者模式 | 为选定模型提供对用户指定工作区的受控访问:文件搜索/编辑、差异预览、终端执行、浏览器工具,以及委托给子代理。 |
| 计划自动化 | 定义重复性AI任务(每日、每小时等),支持运行历史、通知和每运行一次的输出文件夹。 |
| QEMU沙箱 | 可选的轻量级虚拟机,通过 bubblewrap 对每个命令进行文件系统范围隔离,以隔离代理命令。 |
| Model Systems研究 | 持续内部研究(ExactFlux):内存高效推理、推测解码、MoE处理、硬件特定后端(Metal、CUDA、Vulkan)。 |
支持平台 – macOS 13+(Apple Silicon)和 Windows 10/11 x64。公开发布版为每个平台预构建了 llama.cpp 运行时;ExactFlux尚未包含在内。
典型工作流
- 下载 – 从GitHub发布页面下载安装程序。
- 安装 – macOS使用拖放方式,Windows使用标准的
.exe安装程序。 - 添加模型 – 模型库扫描你的硬件,推荐兼容的GGUF模型,并与匹配的
llama.cpp二进制文件一起下载。 - 开始对话 – 在助手中选择本地模型并输入提示;推理在本地运行。
- (可选) 启用开发者模式 – 指定项目文件夹,使模型在你明确批准下可读取、编辑和执行代码。
- (可选) 创建计划工作流 – 定义一个在选定时间自动运行的提示或脚本。
谁应考虑Zeraix
- 希望拥有自包含AI环境、不依赖付费云API的开发者或研究人员。
- 需要数据隐私的团队(例如处理专有代码或机密文档)。
- 拥有足够内存(建议≥ 16 GB)和现代CPU/GPU、希望在本地实验量化LLM的用户。
- 对前沿研究感兴趣,即如何让大模型在消费级硬件上高效运行(团队会发布性能测量和研究更新)。
成熟度与许可
- 桌面应用程序版本为 v1.11.0(稳定公开发布)。核心功能——模型管理、助手、开发者模式、调度和沙箱——均已具备生产就绪能力。
- 研究型运行时 ExactFlux 仍处于 “探索/原型” 阶段,未包含在公开源代码中;验证后将开源。
- 许可证为 Apache‑2.0,允许你以相同条款使用、修改和重新分发代码。
快速入门
- macOS:下载
.dmg,拖入 Applications,打开(若出现安全警告则允许)。 - Windows:下载
.exe,运行安装程序,启动Zeraix。 - 按照内置的“快速入门”向导安装推荐的GGUF模型并开始聊天。
社区与支持
- Discord:https://discord.gg/PcQ3jr3MfH
- X(Twitter):https://x.com/ZeraixAI
- 问题与功能请求通过 GitHub Issues 页面处理。
总结 – Zeraix 提供了一个精致、以隐私为先的桌面环境,用于运行本地LLM,特别强调系统级性能研究。如果你希望在不订阅云服务的情况下,在自己的硬件上实验强大模型,Zeraix 是一个具体且生产就绪的选项。
相关
- 项目
- 项目
- Dispatch
- 项目
- 项目